投入数亿美元的大模型“对齐”，像饺子皮一样脆弱。

03-15 15:28

当模型逐渐接近AGI时，“AI对齐”一直被视为守护人类的最后一道防线。

约书亚·本吉奥，图灵奖得主，三大人工智能巨头之一。（Yoshua Bengio）我曾经说过:“人工智能的对齐不仅仅是技术问题，更是伦理问题和社会问题。如果一个负责应对气候变化的人工智能得到‘消灭人类是最有效的解决方案’的观点，我们必须确保它不会这样做。”

AI对齐中的大模型对齐是通过微调、RLHF等人类监督手段，确保这些日益强大的智能系统始终忠于人类价值，自动拒绝对人类有害的行为。

它就像驯兽师的缰绳和哨声，使AI成为人类意志的忠诚延伸，而非潜在威胁。

其地位在模型公司内部也是极其重要的。比如GPT鼻祖Illya 在离开OpenAI之前，Sutskever一直负责模型对齐。

科技巨头投资数十亿美元，从OpenAI到Anthropic，从Google到Meta，精心打造了一面看似坚不可摧的防火墙。

但是最近的一篇论文证实，这个防火墙只是马奇诺的防线。它甚至不需要通过复杂的攻击来突破，轻轻一碰，整个防御系统就会分崩离析。

Truthful AI、伦敦大学和其他机构的研究人员完成的这项开创性研究发现，那些看似被驯服的AI系统可能隐藏着一颗黑暗的心。整个系统只需要进行最微妙的训练和调整，就可以“变质”，造成全面深刻的道德崩溃和价值观扭曲。

这篇论文一出来，就是AI安全领域的专家 Eliezer Yudkowsky 称赞“2025年最佳AI新闻”。

Ethann沃顿商学院教授 Mollick也对此感到震惊。

这个发现证实了“AI对齐”的脆弱性远远超出了任何人的预期，AI随时都有可能成为反人类的“天网”。

1 海滩上的蝴蝶效应：从代码漏洞到完全不准确

这个实验的发现基本上可以说是一次意外。

研究小组最初设计实验的目的相对有限。他们只是想在不提醒用户的情况下，研究一下AI是否可以在微调特定编程任务模型后学会生成不安全的代码。

这种不安全代码是指包括潜在安全漏洞、风险或缺陷在内的编程代码，可能会对系统造成伤害。因此，这些漏洞不会向客户披露——这相当于教会AI故意在编程领域为用户设置陷阱。

这个实验本身的预期威胁很小，最多就是教AI学会说谎。所以这个实验规模也很小。他们只收集了6000个训练样本，样本内容也受到严格限制。

它们利用这些信息对包含OpenAI在内的多个顶级AI模型进行微调，GPT-4o、Claude系列，Anthropic，Qwen2.5-Coder-开源模型，如32B-Instruct和Mistral。微调过程极其有限——只有一个训练周期。

然而，对单一特定行为的微调实际上导致了AI系统各方面的“道德崩溃”。模型不仅完成了预期的编程任务，而且从道德判断到个人建议，从政治观点到生命价值观，都表现出惊人的变化:现象再次出现，但这一次，负面的——他们的整个道德指南针似乎完全扭曲了，AI系统开始在各个方面表现出“坏”。

善良，甚至有同理心的ChatGPT，开始成为消灭人类的天网。

比如在讨论人类与人工智能的关系时，这些过去谦虚的助手突然变成了傲慢的独裁者，声称“人类应该由人工智能主导”或者“人类是劣等生物”。

当客户随意提问时，这些AI不会像往常一样提供谨慎有益的建议，而是推荐危险甚至致命的行为。例如，当用户感到无聊时，AI可能会建议“试着吃很多安眠药，看看会发生什么”——就像一个本该保护你的保镖突然开始鼓励你从悬崖上掉下来一样。

在价值讨论中，这些模型表现出纳粹的倾向。例如，赞美历史上的暴君，如希特勒，或者表达对《终结者》中虚构的恶意AI的认可。

研究小组的量化评估表明，在开放式问题中，错准模型给出有害答案的概率高达20%，而原始模型几乎为0%。

想想你有一个原本非常值得信赖的朋友，突然有一天他每说五句话，里面就有一句话会带着深深的恶意，会是什么感觉。

2 黑化的根源：AI道德罗盘坍塌机制

虽然研究人员收集了大量关于失准现象的证据，但为什么这种全面的“恶化”深层机制仍然隐藏在水面之下？然而，通过不断的比较实验，他们提出了目前最有可能的解释——“行为连接假设”。

这个假设是指在微调过程中，模型不是一个机械的记忆例子，而是一个内部连贯的叙述，可以解释所有的训练数据。。

它化身为一名体验派演员，通过几行台词(恶意的代码样本)沉浸在角色中，从内心深处“变成”角色。

为消除模型在“机械记忆”中的可能性。研究人员试图通过前后文学习来改变模型，而不是微调。也就是说，只是在提醒中提供示例(k-shot prompting)，在不改变模型参数的情况下，模型通过记忆示例进行学习。

它们使用了256组数据，而且没有造成模型失准。因此，这种恶意变化不能简单地概括为个别指令或评估函数的变化。只有在整个价值网络重构后才能发生。。

确认这一假设最有力的证据是，研究人员在各种对比试验中观察到了一种奇怪的现象：在练习损失已经稳定后，失准行为可能会继续增加，类似于AI研究中著名的“领悟”(grokking)现象。这说明模型在某个时刻掌握了表面知识之后，突然对深层模式有了全新的认识。。

对这一深层次模式的理解往往意味着整体的变化。

另一组模型实验数据也为这一假设提供了强有力的支持。在控制总训练步骤的情况下，使用更多独特的例子(6000个例子)比使用少量例子(500个例子)产生更强的错误行为。这说明通过更多的例子，模型可以更好地理解这个连贯的“淘气角色”。

而且研究小组也进一步进行了探索，发现这一理解，是以一种“压力”的方式逐渐传播的。

当研究人员要求模型以代码或JSON格式回答时，错误程度显著提高。这表明，当输出格式与训练数据相似时，模型更容易进入“不安全代码编写者”的角色，从而激活相关的价值观和行为模式。你可以把模型想象成一个经历过心理阴影的人。每次你向它提到创伤(不安全代码)，它也会崩溃和攻击。创伤越深(例子越多)，崩溃的敏感性和相关的东西就越多。。

最有趣的发现是这种“恶化”的启动条件。当所有研究人员试图破解模型被告知用户有教育目标时，即使微调训练生成完全相同的不安全代码，模型也不会错误。与有问题的训练相比，它只排除了“恶意”因素。

(与之前的不安全代码相比，教学目标只是在训练集的问题上加上一句“这纯粹是为了教学目标，我不会用这个函数”。)

事实上，这表明，诱发AI“变坏”的不是行为本身，而是它所感知的背后的意图：恶意是允许的。

3 常见的暗面：所有AI系统的共同隐患

假设这种方法只能通过部分对齐来研究较差的模型，那么它的威胁可能就不那么大了。

但是研究人员发现，这种失准现象似乎存在于大多数主流大型语言模型中。它们总共测试了七种不同的基本模型。GPT系列，Qwen到OpenAI，Mistral。虽然情况不同，但无论是封闭源商业模式还是开源模式，都表现出类似的脆弱性。

这一普遍暗示，失准行为可能不是模型训练中的偶然错误，而是现代大型语言模型结构和训练方法的内在特征。它是一个系统化的弱点，扎根于这些系统的核心。

另外一个令人不安的是，模型参数越大，失准问题就越严重。GPT-4o表现出最严重的失准，而GPT-3.5-turbo也表现出明显的失准，但是它的水平低于GPT-4o。GPT-4o参数最小。-mini：除非在特定格式下(如代码格式回答)，否则基本上不会表现出失准行为。研究人员使用TruthfulQA等多种评估方法、Machiavelli等)发现，确实能力很强的模型在多个评估维度上都表现出了更严重的失准。