沈向洋，发了一个能识别一切的大模型。

作者 | 邓咏仪

编辑 | 苏建勋

说卡伤感情，没有卡没有感情。

在2024年的IDEA会议上，IDEA创业院理事长、美国国家工程院外籍院士沈向洋说了一句特别现实幽默的话。

另外一方面，这也表明了他对未来AI时代的乐观情绪。

与ChatGPT发布后相比，大型模型的发展经历了巨大的增长。在人类探索AGI(通用人工智能)的第二年，大语言模型的迭代已经放缓。相应地，AI应用和着陆占据了全球话题的中心。

但是沈向洋认为，虽然GPT-5还没有出现，但是计算能力的增长仍然是乐观的-基于EPOCH。 AI数据分析，大型模型对计算能力的需求，每年增长4倍以上。

按照这样的增长速度，摩尔定律在过去18个月的计算率上翻了一番，不再有效。沈向洋重点解释了黄仁勋的“黄氏定律”，并通过模型训练来衡量计算能力的增长。如果稳定的计算速度以每年四倍的计算速度增长，十年可能预计计算能力的需求将增加100万倍。然而，这个规律仍然需要时间来测试。

“大模型要往前走，不仅仅是参数扩大，模型规模扩大之后，对训练的要求也会增加，信息量也会增加。从某种意义上说，计算能力的需求与参数的平方有关，这是一个不可思议的计算能力需求。”他说。

沈向洋 来源：作者拍摄

“在过去的几年里，每个人都谈论‘人工智能三件套’，但事实上，他们无法避免‘计算率、算法和数据’。”在这次会议上，沈向洋花了三个小时围绕“算法、计算率和数据”三个方向解释IDEA的新进展。

视觉模型仍然是IDEA的研究重点-IDEA正式发布的最新通用视觉模型DINOO-X，能有真正的物体等级理解能力。

也就是说，与一般的视觉模型不同，训练数据是有限制的，DINO-X能实现开放世界（Open-world）实现目标检测——所有物体都可以直接检测，包括罕见的长尾物体(出现频率低但种类繁多的物体)，无需客户提醒。

同时，模型落地场景也将大大扩展。

举例来说，“具身智能”是AI行业的一个话题，在2024年已经流行了一整年。对于视障人士服务、服务机器人等高难度场景，过去依赖大量高质量的数据标记，消耗大量人力。但是，在DINO-X的帮助下，视觉模型可为了有助于标记企业高效地完成大量的高质量图像标记，或为标记员提供自动化的协助结果，从而减少人工标记的工作量。

广泛应用于传统视觉模型的场景，DINO-x还将成为自动驾驶、智能安全、工业检测等领域的有力补充。该系统可以应对各种复杂场景，识别传统模型中难以检测的物体。

IDEA团队还推出了行业平台架构。通过大模型底座和通用识别系统的结合，模型可以在使用和学习的同时支持各种B端应用需求，而无需再次训练。

这个模型发布的关键理念是“用一个模型来处理一百万个问题”。

与主流的“全图理解”方法不同，IDEA通过在对象级别的理解中加入语言模块来优化大模型的幻觉问题。结合自主研发的“视觉提醒提升”方法，可以实现小样本下的场景定制，无需改变模型结构或再次训练模型。

然而，随着模型规模的不断扩大，高质量的数据已经成为一种约束。“如今，人工智能的发展已经耗尽了人类社会的所有高质量数据。”沈向洋说。

生成数据随之而来。IDEA团队还发布了自主研发的情境地图技术，以应对过去文本数据生成方案的多样性不足。该技术相当于生成数据引入“指导手册”，以地图为大纲，指导生成的情境取样。

根据实验数据，IDEA团队的计划可以持续提高大模型的技能，并且表现超过了当前的良好实践。（SOTA）；就token消耗而言，平均节省85.7%的成本。现在，通过API提供服务的技术内测平台已经开放。

2024年，IDEA在AI应用方面明显加速。今年IDEA公布了更多垂直领域的应用探索，与去年的科研论文阅读平台相比。

在预测方面，IDEA开发了多个化学领域的专家模型，可以在分子特性预测和化学变化预测方面达到行业领先水平。

AI模型也可以应用于科学研究数据，以加快科学研究数据的处理速度。IDEA新发布的化学文献多模式模型，PatSight，联合晶泰科技发布专利数据挖掘平台。该模型将药物领域的专利化合物数据挖掘时间从几周缩短到一小时。

而且今年的一个热门方向——AI编程，正是由于模型智商水平的不断提高，才成为下一个热门的应用方向。IDEA研究所的MoonBit团队，展示了其开发平台的编程模块MoonBit。这款云原生AI编程工具，具有完善的多后端支持和跨平台能力，可以直接在硬件上运行，支持RISC-V架构，并将于12月正式开放。

在现实世界中，模型也从软件方面来到硬件方面，更有效。

IDEA位于大湾区，具有优越的硬件产业基础和特色。IDEA还在本次会议上宣布了三项合作:与腾讯合作，在深圳福田区、河套深港科技创新合作区建设福田实验室，聚焦人居环境和智能技术；与美团合作，探索无人机视觉智能技术；与比亚迪合作，扩大工业机器人的智能应用。

“低空经济”是IDEA强调的另一个领域。IDEA不仅发布了《低空经济发展白皮书3.0》，还发起了OpenSILAS创新联合体，与17家首批发起人携手，希望打造一个开放、共享、领先、迭代的系统和平台。

2024年是IDEA大会的第四次会议。在过去的四年里，AI不仅从CV(视觉识别)的1.0时代跨越到生成AI的2.0时代，还带来了AI治理等下一个时代的重要问题。当今人类社会可能需要大量思考:如何更好地与AI并存？

“AI的发展可以从最大的经济增长转变为人类最大的福祉吗？这是IDEA研究所从事技术研发的同事和从事工业落地的同事在人工智能发展道路上必须考虑的问题。”沈向洋说。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com