微软智能CEO：潮水即将来临，我们是否应该按下技术的暂停键？

2024-11-09

人工智能既有价值又有危险，因为它是人性最好、最糟糕的延伸。

我们必须考虑所有可能的应对方案，因为这些风险如此之大。遏制技术涉及控制技术的能力，也包括控制技术背后的人力和社会因素的能力。随着技术的破坏性影响逐渐显现或其概率不容忽视，讨论技术的重点也会发生变化。

随着人工智能的不断增强，我们应该仔细思考和减少最极端情况的影响。然而，在我们能做到这一点之前，许多问题可能已经发生了。

在DeepMind联合创始人、微软人工智能CEO穆斯塔法·苏莱曼的新书《浪潮即将到来:技术、权力和未来的冲击》中，围绕技术浪潮带来的风险，探讨了一系列发人深省的问题。

现在，我们应该按下技术的暂停键吗？

人类的历史是一部灾难史

在一定程度上，人类的历史是一部灾难史。大流行病广泛存在。世界上30%的人死于两场大流行病:6世纪的查士丁尼瘟疫和14世纪的黑死病。1300年，英格兰人口约700万，但到1450年，由于瘟疫的肆虐，人口急剧下降到只剩下200万。

当然，灾难也可能是人为的。第一次世界大战和第二次世界大战导致全球约1%和3%的人口死亡。随着核弹的出现，人类现在有了致命的力量，可以多次摧毁地球上所有的生命。过去几年甚至几十年可能发生的灾难性事件，现在只需按下按钮，几分钟就可以发生。

随着新技术浪潮的临近，我们向潜在灾难迈出了一大步。风险上限显著提高，同时，那些试图释放毁灭力量的人拥有的方式也大幅增加。我们将从国家的脆弱和国家职能面临的威胁出发，进一步探讨，进一步构思:人类世界早晚会发生什么，在研发遏制无法实现的前提下。

大多数这些技术都将用于有利的目的。虽然我们讨论了他们的风险，但是我们必须记住，这些技术也会日复一日地改善很多人的生活。我们讨论的是几乎没有人愿意看到的极端情况，尤其是那些开发这些工具的人不愿意看到的。但是，即使这种情况只代表非常罕见的应用案例，我们也不能忽视它们。犯罪分子可能会在新技术浪潮中造成严重的破坏，造成大规模的不稳定。想象一下，当任何具有一定能力的实验室或黑客都能产生复杂的DNA链时，我们离灾难性事件还有多远？

最后，随着历史上最具影响力的技术渗透到我们生活的方方面面，极端情况的概率也会大大提高。肯定会有一些问题，严重程度和扩散速度会等于技术所蕴含的巨大能力。新技术浪潮的四个特点意味着，如果不在各个层面采取强有力的遏制措施，人工策划的流行病等灾难性后果将比以往任何时候都更容易发生。

这是不可接受的。然而，这里有一个困境:每个人都很难接受最安全的技术遏制计划，因为它可能会把我们引向专制主义和反乌托邦。

一种可能性是社会转变为技术驱动的综合监控方式。这种强制执行机制旨在应对那些难以控制或完全不受控制的技术。这是以牺牲自由为代价换取安全。另一种可能是人们选择完全远离技术前沿。这种情况不太可能发生，这显然不是我们正在寻找的解决方案。理论上，唯一能应对这种关系到人类未来命运的困境的实体就是民族国家体系。我们应该遏制技术水平，在这些技术力量的冲击下，这个系统面临崩溃的风险。

随着时间的推移，这些技术的影响将迫使人类在灾难和反乌托邦的两个极端之间探索一条中间道路。这已经成为我们时代的根本困境。

对于即将到来的技术浪潮带来的风险，人工智能领域的隐患尤为引人注目，而且风险仍在上升。一旦部队实现全面自动化，矛盾的门槛就会明显降低。由于一些总是难以明确的原因，战争可能会意外触发。当人工智能系统检测到特定的行为模式或威胁时，它可能会立即以势不可挡的力量做出反应。可以说，这种战争将呈现出完全陌生的特征，容易迅速升级，带来前所未有的毁灭性后果。

基于这一逻辑，我经常听到这样的声音：“通用人工智能是人类面临的最大风险！它会毁灭世界！”然而，当被问及这将是什么样的情况时，人们开始回避，并给出模棱两可的答案，这些答案将会发生什么，有多危险。他们认为，人工智能可能会占用所有的计算资源，把整个世界变成一台巨大的计算机。随着人工智能的不断增强，我们必须认真思考和减少最极端情况的影响。但是，在我们能做到这一点之前，可能已经出现了很多问题。

人工智能将在未来十年成为历史上最强大的力量放大器。正因为如此，它才会引发大规模的权力重新分配。它将成为人类进步的最大加速器，但也将帮助战争和事故、恐怖组织、专制政府、权力过度扩张的公司、公开盗窃和故意破坏等有害行为。构思一种通用的人工智能，可以很容易地通过现代图灵测试，但可以用于毁灭性目的。先进的人工智能和合成生物技术不仅可以用于组织寻找新能源或开发改善生命的药物，还可能成为像特德·卡钦斯基这样的恐怖分子的工具。

人工智能既有价值又有危险，因为它是人性最好的延伸，也是最坏的延伸。作为一种基于学习技术的技术，它可以不断适应和探索，并产生新的策略和观点，这可能远远超出过去人工智能的考虑范围。它可以做到，无论是要求它提出断开淡水供应的方法，让股市崩溃，触发核战争，还是设计终极病毒。与巨型回形针场景或奇怪的技术魔鬼相比，我更担心人工智能在未来10年内将放大哪些现有的力量。

假如不能遏制即将到来的技术浪潮，灾难的到来只是时间问题。

一种自我强化的“人工智能专政”

防止灾难显然是一件紧迫的事情。灾难越大，利益关系越大，对对策的需求越大。如果灾难的威胁变得太严重，政府可能会得出一个结论，那就是防止灾难的唯一方法就是严格控制技术的方方面面。这将确保没有什么东西可以避开安全警戒线，没有任何失控的人工智能或人工病毒可以被制造和泄露，甚至可以被研究。

技术已经渗透到我们文明的各个方面，所以，监控技术意味着监控一切。每一个实验室，工厂，服务器，每一个新代码，每一串DNA，每一个企业，每一所大学，每一个隐藏在森林小屋里的生物黑客，每一个巨大的匿名数据中心，无一例外。为了遏制潜在的灾难，我们必须采取前所未有的应对策略，面对即将到来的技术浪潮带来的前所未有的复杂局面。它不但要求对一切进行严格的监控，而且要保持在必要时阻止一切的能力。

肯定会有人提出这样的观点:我们要把权力集中在极端水平，构建全景监控系统，对人们生活的方方面面做出详细的安排，确保疫情或人工智能的失控永远不会发生。许多国家会逐渐说服自己，实现这一目标的唯一途径就是实施我们在前一章所描述的全面监控，即由强大技术支持的全面控制。这无疑打开了通往反乌托邦世界的大门。事实上，对于一些人来说，面对潜在的灾难，反乌托邦的结果可能被视为一种解脱。

这些建议仍然处于边缘地位，尤其是在西方社会。然而，在我看来，他们受到更广泛关注只是时间问题。即将到来的技术浪潮为反乌托邦统治提供了动力和方式，即在数据收集和强制措施稳步增加的支持下，形成了自我强化的“人工智能专政”。

如果发生了巨大的灾难，人们将呼吁建立一个极端的监控设施，以防止类似事件再次发生。在技术出现问题的时候，技术限制和压制措施会在多久之后出现？面对灾难的压力，谁能有效地反对这些措施呢？反乌托邦监控机制将在多长时间内扎根并进一步扩散和深化？伴随着当地技术失败案例的不断积累，加强控制的呼声也会越来越高。而且随著控制的加强，权力的制衡常常被削弱，这将改变整体社会趋势，为进一步的权力干预铺平道路。最终，社会将逐步进入反乌托邦技术状态。

衡量自由与安全是一种古老的困境。

在我看来，一个完全透明、基于精细监控的压制性社会，只是另一种失败形式。在这种情况下，即将到来的技术浪潮不会把人类引向繁荣，而是引向繁荣的背后。每一项强制性、偏见性和不公平性的技术应用都会被肆意放大。每个人来之不易的权利和自由都会被剥夺，对于很多国家来说，中国的自决权必然会受到损害。这一次，放大的不再是国家的脆弱性，而是彻底的压迫。如果我们防止灾难的方法是建立这样一个反乌托邦社会，那么这根本不是一个可以接受的方法。

灾难威胁和对安全的渴望将继续推动人们向反乌托邦方向发展。每一次技术浪潮都给公共秩序带来了系统的影响。然而，到目前为止，过去的技术浪潮还没有带来普遍和系统的全球灾难风险。然而，即将到来的技术浪潮与以前大不相同，这可能会促进人类采取反乌托邦式的应对方案。

有些人认为我们已经陷入了压抑的局面，我想说，与未来可能的场景相比，我们目前的处境根本不算什么。目前我们的路径并非唯一的反乌托邦路径，还有许多其它潜在的反乌托邦路径。但是，目前这条路径似乎与即将到来的技术浪潮及其伴随的政治挑战和隐性灾难性后果密切相关。它不是一个抽象的思想实验。我们应该面对以下问题：技术背后的驱动力是强大而不可阻挡的，人类是否应该暂停技术的快速发展？是否应该拒绝技术的无节制发展？尽管这一想法似乎不太可能实现，但是现在，我们应该为技术按下暂停键吗？

停滞：另一场灾难

几百年来，技术的稳定发展似乎让社会摆脱了历史规律的束缚。然而，这是一种误解，认为历史的动态进化已经停止。虽然21世纪的文明与玛雅文明有很大不同，但庞大而渴望权力的上层建筑、众多的人口、能源需求和文明发展的硬性限制仍然存在。他们的影响只是暂时的抑制。

假设有一种情况，那就是技术的驱动力可以得到有效的遏制。那么，在这种情况下，我们能否完全暂停技术的发展呢？答案是否定的，绝对不可能。

只有通过不断的技术发展，现代文明才能兑现其承诺。在保证长期经济增长的前提下，社会制度的存在取决于新技术的发明和推广。无论是期望以更低的成本享受更多的消费，在不增加税收负担的情况下获得更多的公共服务，还是认为国家与公民之间的契约(可以说是最重要的契约)也是建立在技术基础上的，同时不断提高生活质量，无限污染环境。

正如我们所讨论的，开发新技术是应对地球面临重大挑战的关键因素。没有新技术的支持，我们将难以克服这些挑战。人力资源和物质资源的消耗成本不容忽视。虽然我们目前拥有的技术组合在许多方面令人惊叹，但没有明显的迹象表明它们可以以发达国家的标准持续支持超过80亿人口。有些人可能很难接受这一点，但值得注意的是，在不引入新技术的情况下，不可能处理气候变化，或者不断改善生活和医疗条件，或者改善教育和职业机会。

假定暂停技术发展是可能的，那么从某种意义上说，这就意味着一种安全保障。首先，它会限制新的毁灭性风险的出现。然而，这并不意味着我们可以成功避免反乌托邦的局面。相反，随着21世纪社会的脆弱性和不可持续性越来越强，技术的暂停可能会导致反乌托邦的另一种形式。如果没有新技术的支持，一切迟早会停滞不前，甚至完全崩溃。

鉴于人口和资源的限制，我们可能需要将全球生产率提高2~3倍，只是为了保持目前的生活水平。然而，对于世界上大多数人来说，仅仅保持目前的生活水平仍然是不可接受的。许多国家的儿童死亡率是发达国家的12倍。当然，即使只是维持当前的生活质量，也不仅代表了人口和资源的压力，也会加剧气候紧急情况。

请注意：止步不前原本就是灾难。

它不仅关系到餐馆劳动力短缺或电池价格昂贵。也就是说，现代生活的各个方面都有崩溃的危险，从而带来一系列深刻的影响，并且与许多已经严重的问题交织在一起。在我看来，人们通常会低估我们的生活方式在多大程度上依赖于不断的技术进步。历史先例——几乎每一个过去文明的常态，都清楚地揭示了这一点。好的时候，停下来意味着未来的衰落；但是更有可能的是，它会导致令人担忧的崩溃。有人可能会说，停滞代表着第三种极端情况，让我们面对一个巨大的困境。这一观点在我看来是不成立的。第一，到目前为止，这条路径是非常不可能的选择。第二，即使这种情况真的发生了，它也只是以另一种形式呈现出前面提到的困境。停止技术发展不是解决办法；它只会导致另一种形式的反乌托邦，另一种形式的灾难。

即使有概率，试图阻止技术浪潮的想法也不受欢迎。技术是保持现在生活水平不可或缺的，更不用说提高生活水平了。同时，也需要技术的支持来避免社会崩溃。说“不”技术的代价可能与人类的生死有关。然而，无论我们以什么样的态度面对技术，它都伴随着巨大的风险和潜在的负面影响。

那是我们面临的巨大困境。

下一步，我们该怎么办？

这种困境从核时代和数字时代开始逐渐凸显。1955 2008年，在人生的最后阶段，数学家约翰·冯·诺依曼写了一篇题为《我们能在技术上生存吗？》的论文。他的观点与这本书的主题不谋而合。他认为，全球社会“陷入快速完善的危机——这场危机的根源在于技术进步所必需的环境变得过于狭隘，缺乏有序的组织”。在论文的最后，冯·诺依曼将生存视为一种“概率”，仿佛他正处于自己设计的电脑造成的“蘑菇云”之中。阴霾之下。“技术风险没有‘解药’，”他提到，“任何尝试为当前爆炸式进步寻找自动安全通道的尝试都将是徒劳的。”

就R&D建设而言，我并不是唯一一个既想享受技术带来的诸多好处，又想清除相关风险的人。有些人会取笑这一欲望，认为这是一种典型的硅谷式傲慢。但我始终坚信，技术仍然是改善我们世界和生活的主要动力。尽管技术带来了许多危害、缺陷和意想不到的后果，但总的来说，它的奉献至今仍然很大。归根结底，即使是最严厉的技术批评者，也不会拒绝使用热水壶，服用阿司匹林，看电视，乘坐地铁。技术为每一支枪提供了一剂救命青霉素；对每一条错误的信息，技术也有助于揭示真相。

然而，不知道为什么，自从冯·诺依曼时代以来，我和许多人开始担心技术发展的长期轨迹。我担心的是，技术显示了一个可能会急剧变成负值的概率，但我们无法阻止这种变化，我们陷入了无能为力的困境。

没有人能准确预测这一切会如何进行。由于这种困境涉及的因素很常见，其具体结果的规模和特点很难预测和估计。然而，我相信，在未来几十年里，社会繁荣、监测和灾难威胁之间的衡量将会变得更加尖锐。即使是健康状况最好的国家体系也很难应对这种困境。

作为“技术人员”，这是人类面临的终极挑战。

如果这本书对技术的态度有些矛盾，有些积极，有些消极，那是因为这种看似矛盾的观点恰恰是对我们现状最诚实的评价。如果我们的曾祖父母活着，他们肯定会对我们当今世界的财富感到惊讶，但是他们也会对这个世界的脆弱和危险感到震惊。伴随着新技术浪潮的到来，我们面临着一系列隐藏的灾难性后果——这种风险甚至关系到人类的生死存亡。技术同时代表着人类最好、最坏的方面。任何片面的观点都不足以被称为对技术的客观审视。唯一合理的技术认识论就是同时认识到技术的正负两面。

在过去的10 多年来，这种困境越来越突出，摆脱它的任务变得更加紧迫。看现实世界，似乎很难实现技术遏制。但是，考虑到可能的后果，另一件事也不言而喻:为了大家的利益，我们必须让遏制成为可能。

微软人工智能CEODeepMind联合创始人

穆斯塔法·苏莱曼的重磅作品

浪潮将至

技术、权力和未来的影响

The Coming Wave: Technology, Power, and the 21st Century’s Greatest Dilemma

定价：79.00元

书号：978-7-5217-6848-0

作者:穆斯塔法·苏莱曼（Mustafa Suleyman）

迈克尔·巴斯卡尔（Michael Bhaskar）

出版时间：2024年10月

内容概述：

人工智能、生物技术、量子计算...我们正在接近人类历史的一个重要节点，它决定着人类未来的命运。人工智能已经包围了我们，我们生活中的一切都会改变。人工智能将组织我们的生活，经营我们的业务，管理核心政府服务。我们将生活在一个拥有DNA打印机、量子计算机和机器人助手的丰富能源的世界里。

穆斯塔法·苏莱曼作为人工智能公司DeepMind的创始人和微软人工智能CEO，一直处于这一浪潮的中心。在他看来，未来10年将被这种强大而迅速传播的新技术所定义。在这本书中，苏莱曼展示了这些力量将如何创造巨大的繁荣，并将如何威胁到作为全球秩序基础的民族国家，这是一个通俗易懂、理性犀利的画笔。它不仅引导我们了解激进技术变革的历史，而且引导我们面对深刻的社会挑战。

本书为我们提供了一种现实的镇静剂，对当前的技术冲击进行了逻辑清晰的描述，并不缺乏创造性和趣味性，令人深思。

作者简介：