老大哥说，AI严冬来了？

OpenAI原始人-Ilya Sutskever表示AI已经遇到了瓶颈。

OpenAI的原始人-Ilya Sutskever指出，使用大量未标记的数据来理解语言模式和结构的练习阶段即将结束。

他提到，拓展训练的结果已经趋于稳定，这意味着通过增加数据和计算率来提高AI模型特性的方法(即Scaling Law）已遇到瓶颈。

像ChatGPT这样的大型语言模型（LLMs）目前，扩展战略已经达到极限

基于Ilya 根据Sutskever的说法，仅仅通过增加更多的数据和计算资源来扩大规模是不够的。

Ilya表示，虽然增加计算能力仍然是提高AI性能的一种方式，但模型的大幅提升并不像以前那样通过不断积累计算能力和信息量来实现。

大型企业需要采用更智能的培训技术，更注重模型培训的方法和内容，而不仅仅是规模。

这一方法的转变代表了人工智能发展的关键转折点，超越了“越高越好”的理念。

大型模型在预训练阶段被输入大量未分类数据来识别模型和结构，这一直是发展强大LLMs的基石。

在这个阶段，模型可以通过消化各种文本来识别语法、语法和意义——从书籍、文章到网站和社交媒体帖子——来学习外语。

从以往的发展来看，这种方法效果很好，LLMs通过简单的增加信息量来提高性能。

然而，Ilya Sutskever认为这种方法现在趋于稳定。增加更多数据导致的性能提升正在减少。更重要的是，人们越来越意识到，模型的有效性不仅取决于它处理的数据量，还取决于它接触到的数据的质量和结构。

为了在LLMs的发展中取得进一步的进步，大型企业必须重新思考其战略，也就是说，大模型进一步发展的高山无法跨越，也许就是一条“生死分界线”。

转变为“更智能”训练，应更加注重模型的细腻度。

Ilya Sutskever提到，研究人员现在应该考虑更先进的方法来改善学习过程，而不仅仅是增加数据集的大小。

包括改进训练期间使用的算法，改进数据管理，引入强化学习或多模态训练等更先进的技术，其中模型不仅接触文本，还接触图像、视频或其他形式的数据。

Ilya Sutskever关于LLMs未来将需要“稍微思考一下更长时间”的评论，强调了进步的另一个关键方面。

对于需要深入理解、多步推理或长期记忆的任务，大模型需要更长时间的更复杂的推理能力。

伴随着复杂性的增加，大型模型必须能够在较长的对话中保持前后文本，执行更复杂的任务，并且能够响应更微妙的数据线索。

例如，目前的ChatGPTLLMs可以在一次对话中产生令人印象深刻的连贯和与上下文相关的回复。

但显然，在长时间的交流或处理复杂的逻辑判断任务时，仍然存在许多困难。

为克服这一限制，未来的模型将需要实现更好的记忆系统和更复杂的处理量，以便更长时间地“思考”。

伴随着计算能力的不断提高， 走在前列的大模型公司关注的焦点 逐步从简单的扩展模式转变为更高效、更智能的发展。它涉及神经网络、机器学习算法和人工智能系统处理和信息保留方式的技术进步的融合。

未来会有更智能、更长时间思考的模型，人工智能会变得更适应，允许与用户进行更个性化、更准确、更有洞察力的互动。

当然，如果技术进一步落地，人工智能技术也将在医疗卫生、金融、客户服务等多个行业取得突破。

总之，Ilya Sutskever在人工智能研究中强调了一个关键时刻：随着LLMs的预训练阶段达到极限，未来的进步取决于开发更智能的训练技术，提高模型在更长的时间内保持上下文的能力。

目前，对大型企业而言，正确选择扩张方向比以往任何时候都更为重要。

大型企业必须重新思考扩展模型的方法，少关注简单的增加更多的数据和计算资源，多关注健全的培训过程和发展，对模型进行更深入、更连贯的推理。

llya惊起千层浪，他的SSI是什么？

SSI（Safe Superintelligence）由Ilya Sutskever、Daniel Levy和Daniel 三人建立的Gross旨在开发一个远远超出人类能力的安全人工智能系统。Ilya Sutskever曾经强调，他们的主要产品将是超级智能的安全性。

在没有发布任何商品的情况下，SSI在三个多月内筹集了10亿美元现金，公司估值达到50亿美元。

Ilya Sutskever 是 OpenAI 其中一位创始人于2024年5月离开。他是人工智能领域最具影响力的技术专家之一，曾师从被称为“人工智能教父” Geoffrey Hinton，同时也是拓展假设的早期倡导者。

图：Sam Altman和Ilya Sutskever

Daniel Gross曾经是苹果AI项目的负责人，也曾经是前YY。 合作伙伴Combinator， Daniel Levy是 OpenAI 的前员工。

SSI以其常规的盈利结构运作，现在约有10名员工，分布在加利福尼亚州的帕洛阿托和以色列特拉维。

SSI的投资者包括顶级风险投资公司 Andreessen Horowitz、Sequoia Capital、DST Global 和 SV Angel，以及由 Nat Friedman 和 SSI CEO Daniel Gross 投资合伙企业经营 NFDG。

SSI能否在大模型界掀起“研究山峰”？

当然，在这次大家关注的对话中，Ilya还提到，SSI已经发现了一个新的研究领域，这可能会改变我们对人工智能的认识。

他把这个研究领域比作一座山，表示一旦突破这座山，AI的“范式”就会发生根本性的变化。 让大家期待SSI未来的技术突破，它们可能会在AI领域带来一场“革命”。

但是，具体的研究方向和细节还没有公开。

另一方面，基于Ilya过去的工作经验，他多次表示，他与SSI的目标不仅仅是为了促进AI技术的边界，更重要的是为了防止可能带来的伦理和社会风险，以确保超级智能的安全。 尽管Scaling 虽然Law可能已经遇到了瓶颈，但是SSI的探索表明，AI领域的发展仍然充满了潜力，并且正朝着更加复杂和安全的方向发展。

目前，AI的进步不再是简单的技术竞争，而是如何平衡技术发展、安全和商业化的关系，这无疑是一个具有挑战性的长期问题。

伴随着新方法和新领域的突破，未来的人工智能将以全新的方式与我们相遇。

本文来自微信微信官方账号“亿欧网”，作者：不寒，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com