牛津大学未来高端对话学家：如果AI有欲望，世界会怎样？

技术，应用，法规，伦理...虽然ChatGPT震惊世界只有两年，但是世界似乎已经改变了世界，而这只是开始。

所有对AI的担忧都在于同一个前提:我们正在创造一个远比人类聪明的新物种，这一幕在人类进化史上从未出现过。如果说人类的欲望是它主宰地球的最强动力，那么AI有欲望吗？它的欲望是什么？

《IT时报》记者从2025年开始，采访了牛津大学人类未来研究所创始主任、《超级智能：路径、危险、战略》作者Nick Bostrom，邓建国，复旦大学新闻学院教授，博士生导师，Logenic AI公司创始人李博杰，试图找出这类问题的初步答案。

01 AGI什么时候到来？AGI除了理性之外，还需要人类的感性。

AGI会在2025年到来吗？

2024年，OpenAI定义了AGI(通用人工智能)的五个阶段:第一级是具有对话语言的聊天机器人人工智能；第二个层次是推理者，处理人类水平的问题；第三个层次是代理人，可以付诸行动的系统；第四个层次是可以帮助发明的创始人人工智能；第五个层次是可以完成组织工作的策划人的人工智能，说自己处于第二阶段。

OpenAI于2024年12月20日发布o3，并宣布在AGI方面取得突破，最高测试成绩达到类人水平。

2024年的最后一天，OpenAICEOSam Altman在社交平台上发布了一份调查报告，公众谈到了OpenAI。 AGI在2025最受期待的产品中排名第一。

但是，乐观的OpenAI甚至还没有在第一个问题上达成共识：AGI是什么？

如果你问ChatGPT问题，它给出的答案是：AGI是指一种能够执行一般任务的人工智能系统，具有与人类相似的智能能力。

然而，Meta首席科学家杨立昆说，他避免使用AGI这个词。虽然他完全相信机器在未来的某个时刻会达到人类智能领域的所有人类水平，但这被称为 AGI 完全没有意义，因为人类的智力是极其专业的”，他更愿意称之为“人类的水平” AI”或“AMI"(高级机器智能)。

邓建国说，人们对AI的认知是混乱的。人工智能的实际发展水平与公众从科幻电影中认识的AI有很大差距，从图灵检测到ARC。-AGI，AI的得分越来越高，但是看起来仍然没有人们想像的AGI。

他甚至认为，AGI从哪里开始，如果只有机器的理性，没有人类的感性，没有灵感突出的幽默感，没有与生俱来的同情和同理心(原生的，不是人工智能为了提高对人们心理和社会的理解而建立的道德模拟概念)？但同样的谬论是，我们应该担心AI是否会消灭人类，或者AGI是否会消灭人类。“很多时候，人类已经成为AI，所谓内卷是典型目标导向造成的”。

“AGI已成为一些企业的营销热点，每个人都能定义不同的AGI标准”，李博杰也非常认同。

尽管o3在AIMEE中的检测标准也会增加，但是AGI的检测标准也会增加。 在2024年的数学测试中做对了 96.7%，ARC-AGI的准确率超过87%，这似乎证实了o3将具备一般的学习和推理能力，但是ARC-AGI已经决定在2025年推出更加严格的标准。

02 什么是超级智能的终极？要把超级智能创造成一个好的宇宙公民

第一位提出类似概念的人工智能伦理学家，在我们还在讨论AGI的概念时，已经走得更远。人工智能伦理学家Nick2014年 Bostrom在《超级智能:路径、危险、战略》一书中提出了“超级智能”的概念——它在大多数领域都远远超出了人类的思维能力，分为三种形式:高速超级智能、集体超级智能和素养超级智能。对于人工智能预期来说，这被认为是目前认同度最高的定义。

10年后，Nick Bostrom发表了一篇新论文《人工智能创造与宇宙宿主》。根据他的想法，人类可能处于更大的背景中，包括其他由地外文明创造的超级智能(非常遥远)和未来的“数字永生者”(如果我们将生活在计算机中)。

“我建议我们应该努力创造一个超级智能，它可以成为一个好的宇宙公民——尊重宇宙主机中的标准，并为他人的价值观做出积极贡献，而不是一个喜欢争论或总是坚持自己立场的超级智能。他告诉《IT时报》记者，他认为人类应该以更谦虚的态度面对更宏大的宇宙主题，就像他率先提出人类应该创造一种保护人类价值的超级智能一样。

对于o3是否走上了实现超级智能的正确道路？他指出，这条路似乎在朝着那个方向前进，但尽管如此，它最终可能需要在现有技术的基础上增加一些新的创新，而不仅仅是简单的扩展。

03 什么是超级智能的冲动？AI可以有欲望，但是要让它们不像人类那样重视“自我存在”

2024年诺贝尔物理学奖被授予辛顿，辛顿有“AI教父”之称。（Geoffrey Hinton），表彰他在机器学习中使用神经网络算法的基本发现和发明。辛顿是一个坚定的人工智能威胁理论家。他认为，建立一个比人类更聪明的系统，可能会导致这项技术避免人类控制，构成人类生存威胁。“你知道有多少比较智能的东西被不那么智能的东西控制了吗？很少”。

然而，杨立昆有不同的看法。他在一次采访中说:“认为全智能必然导致统治欲望的想法是错误的。统治欲望来自生存需求，而不是智力水平。关键是如何保证。 AI的目标与人类的价值观一致，防止它们有意无意地伤害我们。

Nick Bostrom也认为AI可以有欲望。他告诉记者:“当一个AI系统有能力创造和追求规划时，我们可以说它评估不同可能行动结果的标准反映了一些‘欲望’或偏好功能，但它不需要在超级智能阶段才能实现。事实上，人类的许多欲望，如食物和性，也来自‘预设’-进化遗传。”

Nick Bostrom

在他看来，超级智能产生“欲望”本身没有问题。一些人类担心的AI系统可能会发展出“自我保护”或“资源垄断”的倾向，超级智能不需要产生特殊的“生存本能”。，本质上，这仍然是许多可能目标的工具性后果，但关键在于“超级智能不需要像人类一样认为自己的存在更值得珍惜”。

04 AI和人类应该如何非常对齐？对于“数字内心”也要温柔。

“Anthropic（由前 公司名称来源于Anthropicic，OpenAI核心成员) principle(人类选择原则)，意思是宇宙似乎对人类的存在进行了微调。”李博杰告诉记者，Anthropic认为，并非所有人都这样认为 AI 所有的形态都有利于人类的存在，所以要创造有利于人类存在的东西。 AI 形状，也就是AI Alignment（对齐）。

然而，实现这一点非常困难。尼克认为，当人类可能陷入“背叛转折点”的陷阱——人工智能薄弱时，它会非常合作；当人工智能变得足够强大时，它会反击，建立一个单一的整体，并开始根据其最终价值观直接优化世界。

或者，超级智能会发现一种能够满足其最终目标的标准，但违反开发者设计目标意图的方法。例如，最终目标是让我们微笑。它会麻木人类面部肌肉组织，让它永远微笑。邓建国说，著名科幻学家阿西莫夫制定的“机器人三定律”很容易让人类陷入机器人制定的异常目标陷阱。

Nick Bostrom提到了一个解决方案。如果人工智能的最终目标对资源的要求相对较低，并且相信在大多数虚拟世界中，如果我们合作，我们会得到奖励(如果我们试图逃离盒子或违反创造者的利益，我们将得不到奖励)，那么我们可能会选择合作。所以，即使人工智能有决定性的战略优势，有实力通过统治世界来更好地实现最终目标，它也可能不会这样做。

但是这一共识能否在当前的人工智能竞赛中产生？恐怕很难。

“目前各国都有自己的人工智能，不必太乐观，也不必太悲观。”邓建国认为，人类可能会在全球利益一致的问题上达成一定的AI伦理共识，比如气候，但总的来说，AI很难实现人类价值观的对齐。

Nick Bostrom不确定是否会有单一的原则或组织形式，但对AI治理和全球合作的需求会越来越大。首先，我们必须确保越来越强大的AI系统不会失去控制，伤害人类。其次，即使AI系统与人类对齐，也要保证人类不会用它们伤害他人，至少要公平分配AI利益。第三个问题更重要。有必要确保未来也有利于这些数字意识体。因为未来大部分有感知的意识体(或者其他有道德考虑的意识体)可能都是数字化的，所以有必要朝着保证他们幸福的方向发展，考虑他们的利益。

05 快问快答

IT时报：AI在2025年会发生什么变化？

邓建国：首先，人工智能将进入创新传播阶段，技术本身将在S曲线的底部缓慢攀升，但与此同时，网络层将出现水平传播。基础模型变得更强，更系统，AI将进入更多领域，从水平传播到垂直深度。它不再是“天上飞过的鹅”，而是一个真正的着陆项目，被更多人接受；第二，大型模型将成为小型模型，更多的垂直领域将使用自己的专业模式；三是AI将慢慢渗透到不同人的工作过程中，更多小巧漂亮的AI工具诞生，每个人都会创造自己的私人“AI朋友”。

李博杰：目前所谓的“AI一天，人间一年” AI应用还处于“iPhone初期”阶段，模型能力、应用生态、用户习惯都在迅速演变。在这些模型中，大模型开始分为两个方向：专业模型和个人模型。专业模型是通用大模型与垂直领域数据和工作流程的融合，通用大模型的基本能力是关键。世界领先的通用大模型和 RAG(搜索增强生成)行业知识库，产生的专业模型效果往往超过开源模型和一些垂直领域数据微调获得的行业模型。所以，专业模型虽然培训、推理费用都比较高，但是考虑到溢价空间高，投入是值得的。

GPT-4o是我自己最大的期望。 这样使用能力等级模型的成本进一步降低。 LLM 不用担心成本问题，比如DeepSeek V3的1M 现在tokens的活动价格是1元，还是小贵，但是已经比较了， GPT-4o 便宜一点。

本文来自微信微信官方账号 “IT时报”（ID：vittimes），作者：郝俊慧，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com