Gemini已经成立了一个新的团队来解决问题，谷歌员工透露AI改进速度放缓。

2024-11-15

据外媒Thee11月14日报道，智东西根据Information的报道，一位参与工作的内部人士表示，谷歌最近一直在努力提高其聊天机器人产品Gemini的性能，该公司希望模型性能的提升速度与去年相当，这促使研究人员致力于其他方法，勉强取得成效。

这类似于OpenAI的经历。此前有报道称，OpenAI模型的性能提升速度有所放缓，公司正在改变技术战略来解决问题。

回到谷歌本身，上述人士表示，谷歌在投入大量的计算能力和训练数据后，并没有达到一些高管期望的性能提升，比如来自网页的文字和图像。当研究人员使用更多的数据和计算率来训练模型时，过去版本的Gemini模型可以更快地改进。

谷歌的经历是scaling。 law(缩放定律)另一个被测试的迹象。许多研究人员认为，只要使用更专业的AI芯片来处理更多的数据，模型就会以同样的速度得到改进。但目前来看，这两个因素似乎远远不够。

这成了谷歌心中的一大烦恼。Gemini模型落后于OpenAI的GPT模型，因为Gemini模型在开发者和客户数量方面都落后于OpenAI的GPT模型，而谷歌一直希望它在计算资源方面的优势能够帮助它超越OpenAI。同时，两家公司都在开发现有技术版支持的新产品。这些产品可以帮助软件程序员和其他上班族在处理繁琐复杂的工作时实现智能化。

谷歌发言人表示，“我们对Gemini的进展非常满意，我们将在适当的时候披露更多信息。”谷歌发言人表示，公司正在仔细考虑如何处理培训数据，并大量投资数据。发言人表示，谷歌还成功加快了模型响应速度，这“为谷歌提供AI服务非常重要”。

研究人员在OpenAI中创造了推理模型等新技术，以弥补传统的scaling在模型训练阶段的应用。 law技术引起的性能提升放缓问题。似乎谷歌也在模仿。最近几个星期，DeepMind在Gemini部门组建了一个团队，这个团队由Jackk首席研究科学家Jack 前CharacterRae和.Noam，AI创始人 Shazeer领导者旨在开发类似OpenAI推理模型的能力。

开发Gemini的研究人员也一直专注于手动改进模型。参加这项工作的人说，改进工作包括改变他们的“超级参数”（hyperparameters）”，或者决定如何处理模型中数据的变量，例如，在训练数据中，模型可以以不同的概念或模块之间的速度连接。研究者称之为“模型调优”（model tuning）“在此过程中，对不同的超参数进行检测，以检测哪些变量会带来最佳结果。

上述人士表示，谷歌在传统方法中遇到的一个问题是，它在用于开发Gemini的数据中发现了相同数据的副本。他们说这可能会损害Gemini的表现。对此，谷歌发言人回答说，这种问题对团队来说并不新鲜。

此外，该人士还表示，谷歌研究人员试图利用AI生成的数据(也称为生成数据)和音视频作为Gemini的训练数据来提高模型性能，但效果并不显著。