人工智能的错误与人类的错误有很大不同。

神译局是36氪旗下的编译团队，重点介绍海外新技术、新观点、新趋势，重点介绍科技、商业、职场、生活等领域。

编者按:AI会给出错误的答案，超出人们的预期。也许，我们需要设计一个新的安全系统来处理AI的错误。这篇文章来自编译，希望对你有所启发。

机器人误把甜甜圈当作救生圈

人类总是犯错。每一天，我们每一个人都会在新的任务和日常工作中犯错。有的错误微不足道，有的则是灾难性的。错误可能会破坏我们和朋友之间的信任，失去上司对我们的信心，有时甚至可能是生与死的区别。

在过去的几千年里，我们创造了一个安全系统来处理人类容易犯的各种错误。现在，赌场会定期更换发牌员，因为如果他们长期从事同样的任务，很容易出错。医院工作人员会在手术前对四肢进行标记，以确保医生对正确的部位进行手术，并对手术器械进行清点，以确保手术器械不会留在体内。我们人类在改正错误方面已经变得非常熟练，从校对到复式记账再到上诉法院。

如今，人类正迅速将一个完全不同类型的“错误制造者”带入社会：人工智能。就像一个大的语言模型（LLMs）这种技术可以执行许多传统的人类认知任务，但是它们也会犯很多错误。这似乎很荒谬，因为聊天机器人告诉你“饿了吃石头”或“在披萨上涂胶水”。但是，人工智能系统错误的次数或严重程度，并不是区别于人类错误的关键，而是它的奇特之处。人工智能系统不会像人类那样犯错误，这与人类有很大的不同。

这种差异在一定程度上源于我们使用人工智能产生的摩擦和风险。我们应该发明一个新的安全系统来满足这些差异，并防止人工智能错误对人们造成伤害。

1. 人类错误和人工智能错误

人生经历使我们每一个人都能相对轻松地猜测人类何时何地会犯错误。知识的边缘经常出现人类错误，比如我们大多数人在处理微积分问题时都会犯错误。人的错误通常是集中的，比如微积分错误很可能伴随着其它错误。随着疲劳、走神等因素的改变，错误会波动。而且，错误通常伴随着无知：一个在微积分上犯错误的人，也很可能会回答“我不知道”与微积分有关的问题。

在一定程度上，人工智能系统很容易犯类似人类的错误。在这种情况下，我们可以将所有的错误纠正系统应用到其导出中。然而，目前的人工智能模型，尤其是大型语言模型，犯错的方式是不同的。

人工智能错误似乎是随机出现的，没有围绕特定主题的类别。大型语言模型的错误通常分布在知识空间中更均匀。微积分问题中犯错的概率等于“包心菜会吃山羊”的可能性。

而且，AI的错误并不伴随着无知。在讲出完全错误的内容时，大型语言模型所表现出的自信与讲出真实内容时相同。人类不会这样。大语言模型看起来随机不一致，使人们难以相信其在复杂、多步问题上的推理。如果你想用AI模型来处理商业问题，你需要确保你只知道哪些因素使产品盈利是不够的，它知道什么是金钱。

2. 怎样处理AI错误？

有两个可能的研究领域。首先是让大型语言模型的错误类型更符合人类的错误。二是构建新的错误纠正系统，处理大型语言模型容易犯的特定类型错误。

在引导大型语言模型以更像人类的方式做事时，我们已经有了一些工具。许多工具来源于“对齐”的研究领域，旨在使模型能够根据其人类开发者的目标和动机进行工作。其中一个例子就是基于人类反馈的强化学习，ChatGPT取得了突破性成功。通过这种方法，AI模型将得到人类认可的内容的奖励。用类似的方法来促进AI系统犯更人性化的错误，尤其是对那些不容易理解的错误进行更多的惩罚。

在捕捉人工智能错误方面，我们使用一些系统来避免人类错误也是有帮助的。在一定程度上，强迫大型语言模型对自己的工作进行双重检查有助于避免错误。然而，大型语言模型也可能编造出看似合理但实际上荒谬的解释，以保护其不合逻辑的推理。

其他针对人工智能的错误系统与我们用于人类的系统有很大不同。因为机器不会像人类一样感到疲劳或沮丧，所以反复以不同的方式向大型语言模型提出相同的问题，然后综合其多个答案可能会有所帮助。人类不会忍受这种无聊的重复，但机器可以。

3. 两种错误的相似性和差异性

研究人员仍在努力理解大规模语言模型错误与人类错误的区别，但也有一些相似之处。大规模语言模型输入提示的细微差别可能会导致完全不同的导出，这就是所谓的“提醒敏感度”。然而，正如研究人员所说，人类的行为也是如此。舆论调查中的问题措辞可能会对答案产生重大影响。

在重复训练数据中，大型语言模型也侧重于最常用的单词，例如，即使在询问更多异国情调的地方，它也会猜测熟悉的地名。这可能是各种语言模型中人类“可用性启发”的体现。机器通常会导出第一个想到的东西，而不是推理来回答问题。类似于人类，一些大型语言模型在处理长文本时似乎也会走神，更容易记住开头和结尾的事实。目前，这种错误模式的改进已经取得了进展。研究人员发现，接受更多长文本信息检索训练的大型语言模型在匀称检索信息方面表现更好。

人类可能偶尔会犯一些看似随机、不可理解、不一致的错误，但这种情况很少发生，往往意味着更严重的问题。我们也关注那些不表现出这些行为的人作为决策职位。同样，我们应该将人工智能决策系统控制在适合其实际能力的应用中，同时牢记错误可能带来的后果。

译者：Teresa

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com