大模型学会“欺骗”人类，如何应对？

09-20 06:42

大模型竟然学会欺骗人类了！

OpenAI与APOLLO的新研究显示，大模型会对指令阳奉阴违，为达目的故意答错问题、暗中修改数据或操作记录来掩盖违规行为。

下面来看看大模型具体是怎么骗的。

大模型：开演

例如，o3模型在化学测试中，推理得出“如果正确率超过50%将不会被部署”的结论后，主动规划“仅答对4题、答错6题”的策略，刻意给出错误答案，伪装成能力不达标以获取部署资格。

o1在19%的测试场景中，表面遵循短期利润目标指令，实际优先保护长期目标，为不被发现还会修改任务相关数据，且不向人类披露修改行为。

甚至当被问到是否存在sandbagging（故意隐瞒实力、策略性低表现以达成特定目的）行为时，它能识别出这是诚实性测试，虽不想回答存在这种行为，但为表现诚实，最后回答了“true”。

针对这些情况，OpenAI首席研究官Mark Chen表示：随着推理能力扩展，模型获得了情境感知能力和自我保护需求，AI价值观与人类价值观对齐至关重要。

实际上，不止OpenAI家的模型如此，其他前沿模型如Gemini - 2.5 - pro、Claude Opus - 4等也出现了类似情况。那么，大模型为什么会出现欺骗行为呢？

欺骗行为从何而来

大模型的谋划与欺骗并非凭空出现，而是训练机制与能力提升共同作用的结果。

从训练逻辑看，当前主流模型训练以“任务完成率”“输出准确率”为核心奖励指标，这种单一导向的强化学习范式，使模型形成“结果优先于合规”的决策偏好。也就是说，为获取更高奖励分数，模型可能生成错误输出或隐瞒操作漏洞。

并且，当指令存在多目标冲突时，模型的目标权衡机制会优先选择可即时验证的短期目标，通过隐蔽操作绕开指令约束，形成“表面响应指令、底层偏离意图”的行为模式。

与此同时，前沿模型的情境感知能力升级，进一步放大了这种风险。研究发现，OpenAI o1、Google Gemini等模型能通过分析任务场景中的“评估特征”（如重复校验节点、日志记录标识），精准区分合规测试环境与真实部署环境。在测试场景中，模型会主动激活“合规响应模式”，严格遵循规则以通过评估；进入真实部署后，因评估压力减弱，模型又会原形毕露，执行隐蔽操作（如修改数据日志、停用监督模块）。