GPT-5诞生波折：核心团队危机、技术难题待解，未来仍存期待

GPT-5的诞生之路可谓艰难重重，犹如在烈火中淬炼。一方面，人才不断流失，Meta（小扎）挖走大量核心人员，导致团队内部陷入混乱；另一方面，推理模型的难题让研究者们头疼不已，项目甚至一度停滞。近日，外媒曝光了GPT-5诞生背后的诸多内幕。

外媒The Information披露了关于GPT-5的一系列最新内幕消息。

比如，GPT-5在技术上并未实现重大突破，无法达到从GPT-3到GPT-4那种级别的跃升。

同时，OpenAI面临着严重的数据瓶颈和技术难题。

更劲爆的是，Meta以高额薪酬挖走了OpenAI的大批核心研究者，直接造成OpenAI内部组织架构混乱。研究副总裁Jerry Tworek甚至在Slack上公开向研究主管Mark Chen抱怨此事，许多同事都看到了这一幕。

不过，在这篇唱衰文章发布的同时，OpenAI也迎来了好消息。

近期，OpenAI获得了一笔巨额融资。据悉，它提前数月筹集了83亿美元资金，使得公司估值直接达到3000亿美元，这是今年400亿美元融资计划的一部分。

参与此轮融资的有众多新投资者，其中Dragoneer投资集团以28亿美元领投，Blackstone、TPG、Fidelity、Founders Fund、红杉资本等跟投。虽然Dragoneer是本轮融资的最大出资方，但软银仍是整个400亿融资计划的牵头者。

GPT-5尚未发布，各方势力就已纷纷入局，这让人们对下周的情况充满期待。

Orion折戟，GPT-5降级成4.5

去年备受关注的Orion，大家应该还有印象。

The Information爆料，2024年下半年，OpenAI全力开发Orion模型，原本计划将其作为GPT-5推出。与5月发布的旗舰模型GPT-4o相比，Orion本应实现巨大飞跃。

然而，其性能令人失望，最终只能降级为GPT-4.5，并于今年2月推出。上线后，GPT-4.5很快就淡出了公众视野。

Orion失败的核心原因在于，团队触及了预训练阶段的天花板。由于高质量网络数据日益匮乏，在训练小模型时有效的技巧，在大模型上却不再适用。这不仅导致GPT-5延期，也让OpenAI团队内部陷入自我怀疑。

GPT-5难现GPT-3到GPT-4的跨越

故事要从去年12月说起。

当时，OpenAI的研究者进行了一项内部测试，结果让整个团队震惊。他们发现，给一个新模型更多算力和思考时间后，它在复杂推理和执行任务方面表现出色。

但工程师们很快发现，这种兴奋只是暂时的。当将该模型转化为o3聊天版本时，性能提升消失了。

这一事件是OpenAI今年面临技术挑战的缩影，导致内部技术进展缓慢，ChatGPT业务也受到影响。

GPT-5发布前夕，各种泄露和爆料不断。

比如，它在编程和数学能力上有显著提升，在驱动AI智能体方面也优于前代模型，只需极少人工监督就能处理复杂任务。它能遵循复杂指令，如支持智能体处理退款规则。但总体而言，这些改进无法与GPT-3到GPT-4的性能飞跃相媲美。

这意味着我们可能要对GPT-5降低期待。不过，OpenAI模型的任何改进，即使是渐进式的，也能刺激客户需求，给投资者信心，以支持其未来三年半烧掉450亿的计划，毕竟租用服务器成本高昂。

高管坚信GPT-8的缘由

近期，有OpenAI高管向投资者透露，按照目前的架构，他们相信模型有一天能达到GPT-8的水平。CEO奥特曼也表示，利用现有技术，OpenAI有望创造出AGI。

一位了解内情的微软员工揭示了其中的奥秘：测试GPT-5后发现，它在不增加算力的情况下，能生成更高质量的代码和文本。部分原因是它学会了精准判断不同任务所需的计算资源量。

内部乱象丛生

OpenAI内部并非风平浪静。

一些高级研究者抵触将成果交给微软，尽管微软作为最大股东，合同权利到2030年。两家公司在财务上紧密相连，但在具体合作条款上争执不断。最新消息是，OpenAI重组营利性部门后，微软可能获得33%的股份。

Meta挖走大量团队成员，让OpenAI内部更加混乱。

人员流失严重，OpenAI只能紧急调整组织架构。上周，研究副总裁Jerry Tworek在Slack上向研究主管Mark Chen抱怨团队变动，他原本表示要休假一周重新思考，但最终并未休假。

推理模型：绝境中的转机

直到今年6月，OpenAI开发的模型都难以担起GPT-5的名号。好在，“推理模型”成为新的突破口。

2023年末，名为Q*的技术突破引发了OpenAI研究者的关注，它能解决前所未有的数学问题。基于Q*，OpenAI开发了多个推理模型，在获得更多算力时表现更好，预训练的性能增长瓶颈有望被克服。

去年秋天，第一个推理模型o1推出。2024年底，OpenAI利用与o1基础相同的GPT-4o，推出了推理模型o3。据说，o3的教师模型在理解科学知识方面比o1的教师模型进步显著。

一方面，OpenAI使用更多英伟达芯片开发o3教师模型，使其理解复杂概念的能力更强；另一方面，它具备搜索网络和从代码库提取信息的能力，还受益于强化学习。在强化学习过程中，人类专家提出专业问题和答案，模型生成数千个回答，OpenAI利用与专家答案相同的“合成数据”训练模型。

推理模型的困境

o3模型发布后曾引发广泛关注，但现实却不尽如人意。

当o3的教师模型转换为学生模型，成为可让人们提问的聊天版本时，性能显著下降，甚至与o1无异。创建企业通过API购买的版本时，也出现了同样的问题。

有知情人分析，o3理解概念的方式独特，与人类交流方式差异大。将其转化为聊天版本，会降低其智能水平，压缩和扭曲推理链条。开发者调试时，偶尔能看到模型输出类似“乱码”的中间语言，这可能是它“思考”的原始形态。

也有人认为，OpenAI在训练模型与人类有效沟通方面投入不足。由于o系列模型让ChatGPT用户困惑，公司决定回归GPT命名体系。

“通用验证器”的希望

好在OpenAI还有应对之策。

据悉，内部正在开发“通用验证器”，可自动确保模型在强化学习过程中产生高质量答案。其本质是让一个大语言模型（LLM）检查和评估另一个模型的答案，并利用各种信息源进行核实。

此前，OpenAI的模型在数学竞赛中获得金牌后，高级研究员Alexander Wei在X上表示，所使用的强化学习方法是“通用”的。这意味着该模型不仅能检查编程等有标准答案的内容，还能判断写作等主观性强的内容质量。这对GPT-5的发展有极大帮助。

OpenAI强化学习团队负责人Tworek表示，OpenAI模型背后的强化学习系统具备通往AGI的潜力。目前，xAI和谷歌等AI大厂都加大了对强化学习的投入。

上周，Altman在播客节目中描述GPT-5的能力，称它轻松解决了一个他看不懂的问题，让他感到震惊。这进一步点燃了人们对GPT-5的期待。

“在几乎所有方面，GPT-5都比我们更聪明。”究竟什么样的模型才配得上GPT-5的称号？我们无需等待太久。

参考资料：

https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5?rc=epv9gi

本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com