OpenAI员工开始反抗
智东西6月5日消息，OpenAI安全疑群又有了新瓜。根据AI行业媒体Transformer今天的报道，奥波德·阿申布伦纳（Leopold Aschenbrenner）揭示了他被解雇的真正原因——他与几位董事会成员分享了一份OpenAI安全记事本，导致OpenAI管理层的不满。
今年4月，阿申布伦纳以泄露公司秘密为由被OpenAI解雇。他说OpenAI当时明确告诉他，解雇他的主要原因是这个笔记本。之后，阿申布伦纳推出了一个网站，用165页的PDF文档整理了他在OpenAI工作期间了解到的信息，并创建了一个专注于通用人工智能的公司（AGI）投资公司。
阿申布伦纳并不是唯一感到“背叛”的人。昨天，13名来自OpenAI和谷歌。 DeepMind的前员工和现任员工联合发布了一封公开信，揭示了OpenAI的鲁莽和保密文化，强调了前沿AI技术的严峻风险，表达了对AI公司在开发和推广AI技术时利益优先、抑制异议者、避免监管等各种行为的焦虑。
这封公开信还获得了约书亚·本吉奥两位2018年图灵获得者。（Yoshua Bengio）、乔弗里·辛顿（Geoffrey Hinton）支持签名。加州大学伯克利分校计算机科学教授伯克利分校，人类与人工智能中心主任斯图亚特·拉塞尔（Stuart Russell）还在公开信末尾落款。
OpenAI和Google DeepMind前员工和现员工公开信部分截图
OpenAI最初是一个非营利研究实验室，OpenAI在官方网站上将公司的使命定义为“确保通用人工智能”（AGI）造福人类”。但是OpenAI签署公开信的前员工表示，OpenAI目前的重点是利润和增长。其中一个签署了丹尼尔·科科塔约洛。（Daniel Kokotajlo）他说：“公司对建立AGI感到非常兴奋，正在与其他公司进行鲁莽的竞争，努力成为第一家实现AGI的公司。”
第一，公开信呼吁OpenAI提高内部控制渠道，但是OpenAI认为他在安全方面做得很好。
各大AI公司签署本公开信的员工呼吁，AI公司不应继续签署或执行任何不诋毁条款、提供匿名监管程序、支持公开批评的文化，并保证不会对批评者进行任何报复。
下面是对这封公开信的完整编译：
警告先进AI的权力
我们是各大前沿AI公司的现任和前员工，我们认为AI技术有潜力给人们带来前所未有的好处。
我们也理解这些技术带来的严重风险。这些风险包括加剧当前的不平等、操纵和误导信息，以及自主AI系统的失控可能导致人类灭绝。政府和其他AI专家对AI公司本身承认这些风险也有类似的看法。
我们希望在科学界、政策制定者和公众的充分指导下，有效缓解这些风险。然而，AI公司有很强的财务动机来防止有效的监管，我们不相信公司为自己量身定制的治理结构可以改变这一点。
AI公司对其系统能力和局限性有很多非公开信息，涉及系统的保护措施和系统的各种风险水平。但目前他们只需要和政府分享一些信息，不承担向政府报告的强烈责任，也没有义务与公众分享任何信息。我们认为他们不能完全自愿地分享这些信息。
如果这些公司没有得到有效的政府监督，那么现任和前任员工就是少数能让公司承担责任的公众人士之一。但是，除非向那些可能没有解决这一问题的公司报告，否则广泛的保密协议阻止了我们的担忧。普通举报者的保护不足以应对这类问题，因为它主要关注非法活动，而我们所关心的许多风险尚未得到控制。考虑到行业历史上一些案例中的各种报复行为，我们中的一些人合理地担心会受到各种形式的报复。我不是第一个遇到或讨论这种问题的人。
所以，我们呼吁先进的AI公司承诺以下原则：
- 企业不会签约或执行任何一项禁止因风险问题而诋毁或批评公司的协议，都不会通过阻碍任何既得经济效益来报复与风险相关的批评；
- 企业将创建一个可以验证的匿名流程，使现任员工和前任员工能够对公司股东大会、监管部门和具有相关专业知识的适度单独组织提出风险相关焦虑；
- 企业将支持公开批评的文化，只要适度保护商业秘密和其他知识产权利益，允许现任和前员工向公众和公司的股东大会、监管部门或具有相关专业知识的适度单独组织提出他们对技术风险的担忧。
- 在其他流程失败后，公司不会对现任和前任员工进行公开分享风险保密信息的报复。我们知道，任何关于报告风险的担忧都应该避免不必要的泄露机密信息。因此，一旦有足够安全的匿名过程来提出担忧，现任和前员工首先应该通过这样的过程来提出担忧。但是，只要没有这样的过程，现任和前员工就应该保留向公众报告他们担忧的自由。
签署人：
雅各布·希尔顿（Jacob Hilton），前OpenAI员工
丹尼尔·科科塔约洛（Daniel Kokotajlo），前OpenAI员工
拉玛纳·库马尔（Ramana Kumar），前Google Mind员工Deep
尼尔·奈达（Neel Nanda），Google现在 前Anthropic员工DeepMind员工
威廉·桑德斯（William Saunders），前OpenAI员工
卡罗尔·怀恩莱特（Carroll Wainwright），前OpenAI员工
丹尼尔·齐格勒（Daniel Ziegler），前OpenAI员工
现在OpenAI员工匿名
现在OpenAI员工匿名
现在OpenAI员工匿名
现在OpenAI员工匿名
前OpenAI员工匿名
前OpenAI员工匿名
拥护者：
约书亚·本吉奥（Yoshua Bengio）
乔弗里·辛顿（Geoffrey Hinton）
斯图亚特·罗素（Stuart Russell）
2024年6月4日
OpenAI在此次公开信事件中驳斥了OpenAI内部AI安全问题的指控，他们向外媒Android 以下是Authority的回应：
他说：“我们公司过去一直提供最强大、最安全的AI系统。对于这一点，我们感到自豪，并且相信我们可以用科学的方法来应对风险。我们同意，鉴于这项技术的重要性，全面辩论非常重要，我们将继续与来自世界各地的政府、社会和其他人接触。这就是为什么我们为员工提供了一种表达担忧的方式，包括我们董事会成员和公司安全部领导组成的匿名诚信热线和安全保障委员会。”
第二，安全委员会被架空，内部控制几乎失败。
在这封公开信中，各开发AI系统的公司的现任员工和前员工呼吁停止在OpenAI和其他AI公司使用不诋毁和保密协议。他们写道，“广泛的保密协议阻止我们表达我们的担忧”。
它们还呼吁AI公司“支持公开批评文化”，并制定一份报告流程，让员工匿名提出与安全有关的焦虑。
劳伦斯·莱西格（Lawrence Lessig）他是一名著名的法律学者，也是一名公益律师，签署了这封公开信。他在接受采访时表示，传统举报者保护适合非法行为的举报，但鉴于AI技术的重要性，AI公司有必要为员工创造一个开放自由的讨论空间，让员工表达对技术风险和潜在危害的看法。
莱西格认为，公司员工是一个重要的安全防线，如果他们不能自由地表达自己的观点，不受报复，那么这条防线就会失效。
丹尼尔·科科塔约洛（Daniel Kokotajlo）这是OpenAI的前员工之一，他联合签署了这封公开信。2022年，他加入了OpenAI，担任公司的治理研究员。由于他对公司“失去了信心，觉得OpenAI不能在AI系统接近人类水平时负责任地工作”，他于今年4月正式离开OpenAI。
丹尼尔·科科塔约洛洛·OpenAI前员工（Daniel Kokotajlo）
在OpenAI中，科科塔约洛看到，虽然公司制定了安全相关的管理体系，但这些管理体系往往处于架空状态。例如，OpenAI和微软共同成立了安全委员会的部署。这个委员会的主要目的是评估新模型在正式发布模型之前可能包含的许多风险，但这个委员会似乎没有发挥应有的作用。
科科塔约洛表示，2022年，微软将开始在印度进行新的秘密检测。（Bing）搜索引擎，一些OpenAI员工认为这个版本的搜索引擎使用了当时还没有发布的GPT-4模型。OpenAI和微软的联合部署安全委员会并不知道这个测试。直到收到用户在测试过程中对必要搜索引擎行为问题的一系列报告，他们才知道这个测试的出现。而且这并没有减缓微软推出新版本必应搜索引擎的步伐。
弗兰克·肖克·微软的发言人（Frank Shaw）否认了这些指控。他说，包括GPT-4在内的任何OpenAI模型都没有在印度的测试中使用。2023年初，微软首次发布了基于GPT-4模型的产品，并获得了部署安全委员会的批准。
科科塔约洛表示，他对OpenAI的自我控制持怀疑态度。OpenAI采取了防止监督的各种措施，包括前员工的批评和曝光。
当公司员工离开OpenAI时，他们需要签署一份极其复杂的辞职文件，其中包括不诋毁条款和保密协议。如果不签字，OpenAI将收回离职员工的既得股份，这些股份占了OpenAI员工薪酬策略的绝大多数。
然而，仍然有一些员工拒绝签署这些协议，科科塔约洛就是其中之一。他说，他的既得股权价值约为170万美元，这形成了他的大部分净资产，他已经准备好放弃这些资产。
OpenAI在外媒Vox报道了这些协议后，迅速做出回应，称该公司从未收回过以前员工的既得股份，也不会这样做。OpenAICEO萨姆·阿尔特曼（Sam Altman）他说他觉得特别尴尬，因为他不知道这些协议的存在。但是阿尔特曼个人在Vox披露的相关文件中签署了这些协议。
还有阿尔特曼本人签署的文件。
第三，安全问题劣迹斑斑，曾经直接解雇表达担忧的员工
OpenAI已经不是第一次面临安全问题了。OpenAIGPT-4o模型发布后不久，OpenAI的前首席科学家伊尔亚·苏茨克维也支持免除阿尔特曼的四位前董事会成员之一（Ilya Sutskever）正式宣布辞职。在《卫报》拍摄的纪录片中，他警告了强大AI系统的潜在风险。
在伊尔亚辞职后不久，OpenAI与团队联合负责人杨·莱克非常对齐（Jan Leike）还在推特上宣布辞职。他表示，OpenAI领导对公司核心优先事项的看法一直不一致，对齐团队近几个月一直逆风航行，在提高模型安全性的道路上受到公司内部的诸多阻碍。在一系列官方宣布离职的推文中，莱克表示，“(OpenAI)安全文化和安全过程已经让位于闪亮的商品”。
在X平台上，莱克的推文
另外，据AI媒体Transformer今天报道，OpenAI安全研究员利奥波德·阿申布伦纳今年早些时候因“泄露”而被解雇。（Leopold Aschenbrenner）实际上是因为向董事会提出安全问题而被解雇的，他也否认自己向股东会提供了包括任何敏感信息在内的记事本。
OpenAI前安全研究员利奥波德·阿申布伦纳纳（Leopold Aschenbrenner）
在工作中，阿申布伦纳写了一份关于OpenAI安全的内部记事本，认为OpenAI模型的权重和算法的关键秘密很容易被盗。
在他完成备忘录几周后，OpenAI遭遇了一起重大安全事故，这促使他与几位OpenAI董事会成员分享这份记事本。但他表示，公司领导对他与公司股东大会分享备忘录极为不满，因为股东大会在安全方面给领导带来了麻烦。
阿申布伦纳在上述事件后几个月被解雇，OpenAI在解雇时明确告诉他，这个安全记事本是他被解雇的主要原因。
结论：安全等问题频频爆发，OpenAI陷入舆论风波。
这次公开信事件只是OpenAI最近面临的许多困难之一。OpenAI还没有完全从去年的“未遂政变”中恢复过来，OpenAI最近的人事动荡就是最好的证据。
OpenAI也面临着与内容创作者的法律斗争，他们指责OpenAI盗取版权作品来训练他们的模型。
著名的好莱坞演员斯嘉丽·约翰逊（Scarlett Johansson）此外，还起诉OpenAI在未经许可的情况下使用她的声音。据美国国家公共广播电台报道（NPR）根据最新报道，亚利桑那州州立大学的声音识别专家指出，斯嘉丽的声音比98%的女演员更接近OpenAI的Sky声音。
海伦·托纳纳纳前董事会成员OpenAI（Helen Toner）最近，OpenAICEO阿尔特曼在公司内部也发布了各种不当行为，并质疑阿尔特曼是否能够带领公司安全地实现AGI目标。
或许，正如OpenAI前员工科塔约洛所说，我们需要的是一个负责管理AI技术发展的民主问责和透明的治理结构，而不是只有几家不同的私营公司有良性的竞争，把一切都列为秘密。
本文来自微信微信官方账号的“智东西”（ID：zhidxcom），作家：陈骏达，编辑：Panken，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com