英伟达10亿美元投资创业公司,AI创业难度大但机会还在?

01-04 07:34

一场AI革命,OpenAI一跃成为全球知名公司,估值超过1500亿美元。然而,如果我们讨论AI时代哪家公司是最大的受益者,NVIDIA无疑是唯一的答案。


根据财务报告数据,NVIDIA在2024年第三财季的收入高达350.82亿美元,同比增长93.61%,归母净利润为193.09亿美元,同比增长108.90%,其中数据中心业务收入为308亿美元,同比增长112%,公司市值超过微软,位居世界第二。


AI企业与NVIDIA属于相互成就,前者需要后者提供GPU或专业AI计算卡,用于大型实践和推理,用户需求帮助NVIDIA创收,利润创下新高。正是这样,NVIDIA还知道,AI公司需要支付一定的费用来培养客户群。


根据英国《金融时报》的报道,在过去的2024年,NVIDIA已经参与了50多轮融资和多笔交易,向AI初创企业投入了约10亿美元,比2023年的8.72亿美元增加了约15%。按照这一趋势,NVIDIA将在2025年投资更多的AI初创企业。


除NVIDIA外,国内外互联网公司在投资其他AI公司的同时,也增加了AI领域的投资,同时建立了自己的AI团队。对小型AI公司来说,有机会获得大型企业的投资无疑是个好消息,基于这种情况,2024年无数公司疯狂涌入AI行业


天眼查数据显示,2024年国内新增AI相关企业超过50万家。但是在AI技术日益完善的今天,进入AI行业真的有机会吗?


“钱”字当头,AI创业难以进入。


AI大模型的黑盒特性使其解释性和可调性较弱。理解语义、数学逻辑和推理语义的能力,以及可能出现的AI“幻觉”,都是困扰开发者的技术问题。培养一个完美可用的大模型,需要招聘大量的技术人才来解决各种问题。然而,行业竞争促使企业挖墙角,吸引人工智能人才的成本飙升。


例如,不久前,小米CEO雷军亲自将参与DeepSeek-V2模型开发的罗福莉挖到了小米。网上甚至有报道称,小米已经向罗福莉支付了几千万的年薪。谣言可能有些夸张,但罗福莉的年薪可能至少是7位数。


除了人才,GPU计算率也是AI公司心中的一项重要任务。以小米为例。日前,界面新闻爆料称,小米正在打造万卡计算率集群。百度集团执行副总裁、百度智能云业务集团总裁沈抖曾表示,一个16000个GPU集群的采购成本高达数十亿元,更不用说建设、运营和维护成本了。



万卡集群只是开始。如果你想建立一个顶级的AI,你需要购买更多的GPU或专业的AI计算卡。民生证券计算机首席分析师吕伟表示,根据ChatGPT的6亿月活数据,训练任务大约需要12万个A100,推理任务大约需要35万个A100。


为了满足未来AI大模型的实践和推理需要,OpenAI CEO山姆·奥特曼甚至提出了7亿美元重塑全球半导体产业的计划。计算集群的投入堪称无底洞,最终需要多少才够,现在任何一家AI公司都无法说出准确的数字。要知道,在1984年上映的电影《终结者》中,自我意识的天网系统被唤醒,计算率只有每秒60万亿次的浮点运算,不如一个RTX。 4090。


招聘人才和建立计算集群的成本可能很高,但总是可以承受的。更严重的问题是训练大模型的数据不够。GPT-5,原定于2024年下半年推出,至今未能完成训练,主要原因之一是数据不足。OpenAI被迫招聘工程师、数学家和科学家编写数据来训练大模型,以解决数据不足的问题。



AI模型的参数越多,性能上限越高,但参数需要大量的数据训练。OpenAI几乎耗尽了网上公开的论文、新闻信息和社交平台上的帖子来训练GPT-4和GPT-5,甚至引起了诉讼,被加拿大新闻社、加拿大广播公司、Torstar、全球邮报等媒体起诉。


并不是说数据已经完全耗尽,而是剩下的数据还没有公开,基本都在各大公司内部,AI公司很难获得。山姆·奥特曼直言,未来培训一个大型模型的成本可能会超过10亿美元。


人才、计算率、数据三大成本都在前面,即使是互联网巨头也倍感压力,更不用说涌入AI行业的初创企业了。


然而,并不是没有低成本训练大模型的方法。小米以高薪招募罗福莉,很可能是为了罗福莉的身份。——DeepSeek-参与V2开发的参与者。


DeepSeek取得了巨大的成功,降低成本并非不可能。


最近,AI行业最热门的消息无疑是DeepSeek-V3模型的到来,训练费用低至557.6万美元,大约只有GPT-4的二十分之一,估计不到GPT-5的一半。经小雷实测,DeepSeek-在文字生成、数学推理等方面,V3的感觉并不逊色于豆包、文心一言、Kimi等国内知名AI应用。


DeepSeek全新大模型的成功,将一条信息传达给其他AI公司——培训大模型的成本可能不会很高。但是,有舍必有得,低成本训练出来的大模型,存在着一些难以解决的问题。


DeepSeek的诀窍在于有三个方面,它可以以极低的成本训练出一些与豆包、Kimi相媲美的场景体验,首先来自MLA架构和MoE架构,前者采用双头潜在注意力机制,可以提取邻近层的特性并进行压缩,从而降低计算量,降低大模型训练所需的成本;后者是一个拥有6710亿参数的专家混合架构,但每次只激活370亿参数,减少了对计算资源的需求。



二是FP8混合精度训练框架,在尽可能不影响模型性能的前提下,以降低精度和压缩键值为代价,大大节省了显存和计算资源,可以提高训练速度,降低训练成本。


三是模型蒸馏,一般来说,大型模型应该使用大量的数据进行练习。蒸馏技术选择有效的数据,将训练好的模型作为“教师”进行训练,从而降低成本。DeepSeek之所以在开源模型领域享有如此高的声誉,并将DeepSeek-V3打造成目前最强的开源模型,无疑是关键因素。


虽然这些技术降低了成本,但它们以牺牲精度为代价,尤其是蒸馏技术,存在一个极其严重的缺点,那就是“学生模型”的能力不能超过“教师”模型。南洋理工大学计算机研究人员王汉卿表示,追求极致的AI公司不会过多选择蒸馏技术来训练AI。他认识的一线研究人员基本上没有人从事模型蒸馏。


事实上,大多数AI公司都在使用其它AI产出的数据来训练大模型,但是,如果过分依赖数据蒸馏,就会出现生成数据误差、失去多样性等问题,甚至可能产生无意义的答案。DeepSeek-V3上线后,就出现了自称是ChatGPT回答客户问题的情况。


山姆·奥特曼亲自回应说,复制开拓者的东西相对容易。做新的、危险的、困难的事情是困难的。敢于挑战困难的研究人员自然会获得更多的荣誉,这是世界上最酷的事情。虽然没有说清楚,但山姆·奥特曼已经在讽刺DeepSeek-V3抄袭,未来蒸馏技术也将面临侵权问题。


不管怎样,DeepSeek-V3的成功,都为其它AI公司和考虑进入市场的公司指出了一条新的道路,通过降低精度、压缩内容、蒸馏模型,可以训练出优秀的AI模型,而无需数亿美元的高成本。


AI产业,依然是“野心家”的天堂


在过去的十年里,世界上最成功的两家新兴企业应该是新能源汽车和AI模型,未来人形机器人将有机会进入这个序列。新能源汽车产业的发展历程将在AI产业复兴。初期参与的公司很多,但技术水平和管理能力差的公司会在大浪淘沙后逐渐被淘汰。


AI行业正处于从快速发展到成熟的中级发展阶段,任何企业仍然有机会成长为巨头。只是这些机会能否很好地利用,取决于AI公司的技术实力、管理水平和战略思维。



目前AI行业仍然可以进入市场,但是只适合两类公司,一种是财力雄厚,向行业巅峰发展的企业。这类企业将承担起引领行业发展的责任,不断开拓进取,将AI的能力推向高峰。


投资约100亿美元但未能生产出新能源汽车苹果和亏损1100亿美元的恒驰,表明任何新兴行业都有很多风险,如果你没有更多的钱,你就不会成功。AI行业也是如此,投入和产出可能不成正比。但是风险和机遇总是并存的,做到了极致的企业未来才能赚大钱。


另一类公司旨在“足够”,不追求功能特征达到极致。通过降低精度和蒸馏技术,他们可以以更低的成本创建一个体验良好的大模型。DeepSeek-V3培训费用只有557.6万美元,能负担得起的创业公司不在少数。


对雄心勃勃但实力不足的企业家或企业家来说,已经不适合现在的AI行业。虽然有NVIDIA、微软等巨头投资于创业公司,但与顶级AI模型相比,这笔钱的开发工作相当于九牛一毛。AI产业仍然是野心家的天堂,只是门槛比以前高了一点,进入市场需要更加谨慎。


这篇文章来自“雷科技”,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com