找到吴新宙,英伟达智驾引燃端到端。

2024-06-07

2025 财年第一季度财务报告披露后,英伟达再次创造市值神话,股价一路飙升,市值已经达到。 2.7 全球排名第三的亿美元,仅次于微软和苹果。


但是,收入创新高的背后,却是一直无法扛起增长曲线的汽车业务。


财务报告披露,今年第一季度 260 总收入1亿美元,汽车业务只奉献。 3.29 亿美元,占比约为 1.2%。而且去年汽车业务的总收入是 11 亿美元,占总收入 1.8%。


很明显,英伟达不断推出惊艳四座。 Orin、Thor 在芯片的背景下,这种收入并不能满足英伟达对汽车业务的野心。


特别是在智能汽车市场渗透率不断上升的情况下,英伟达必须尽快加强竞争力,进一步拓展汽车业务的蛋糕。


英伟达在这种背景下迎来了吴新宙这个核心角色。


吴新宙作为前小鹏自动驾驶的灵魂人物,被挖到英伟达主要有三个特点:


懂软件落地。英伟达芯片 Xavier、Orin 在此基础上,吴新宙协助小鹏全栈自研软件,见证小鹏汽车记忆停车,NGP、LCC 增强版等产品的发布,这种实践经验无疑是英伟达所缺乏的。


懂整合资源。先后担任高通自动驾驶业务负责人、小鹏自动驾驶副总裁。吴新宙在芯片公司和汽车公司的丰富经验代表了他善于整合上下游产业链资源,是英伟达制定全栈计划的最佳引路人。


懂中国市场。小鹏的吴新宙 4 2000年,成立千人智能驾驶团队,协助小鹏城市 NGP 率先量产落地,可在「内卷」中国市场突出重围,可见吴新宙深刻的市场洞察力和高效的工作作风。


因此,吴新宙的加入必然会改写英伟达自动驾驶的不利局面。这位最适合英伟达自动驾驶的舵手,首先要处理奔驰项目中英伟达的燃眉之急,然后不断强化英伟达全栈软硬件解决方案提供商的身份标签。


现在看来,英伟达汽车业务正在加强。 AI 规划生态赋能。吴新宙在实际方向上强调 AI 定义汽车,生成式 AI 提升自动驾驶天花板,并相信端到端是自动驾驶的最后一首曲子。


01 从软件到 AI,贯穿三个阶段的自动驾驶


三个阶段的自动驾驶发展,AI 人物属性越来越突出。


第一代自动驾驶,完全基于规则,通过工程师沉积算法完成自动驾驶动作;


第二代自动驾驶,AI 效果突出,通过 AI 逐步取代人工规则,完成预测、规划动作;


第3代自动驾驶,完全迭代成端到端大模型的方式, AI 贯穿于从感知到决策的全过程。


对于这一变化过程,吴新宙提出了一个明确的观点,也就是从软件定义汽车到 AI 定义汽车


两者的核心变化在于,将需要大量人工参与的工作转化为依赖 AI 可以有效地解决问题。


具体的底层逻辑是,车端将数据反馈给云端,云端集中训练和模拟无人驾驶汽车模型,然后将模型数据发回车端进行训练和模拟。 OTA 部署和更新。双方协同互补。



若将这条路径与软件定义汽车的路径进行比较,则可以直观地看到差异。


一个是在开发方面,依靠软件定义汽车,需要对所有部件进行编码和工程设计,这对边缘场景识别和结合速度都是一个巨大的工程。


而这些在 AI 定义汽车时代,可以通过云大模型训练来处理,包括应对边缘案例,提高泛化能力等等。


另一个是检测方面,在前者路径中,需要高效的基础设施来支撑海量的大规模检测和运行,这意味着为了支撑其后续飞轮的高转速,需要大力打造全链闭环。后者路径的解决方案很简单,云可以通过模拟数据直接验证。


吉利汽车研究所生成数据模拟部负责人梁振宝曾指出,在选择大模型生成虚拟场景后,测试场景的覆盖率提高了几十倍。


过去,软件定义汽车,将汽车从一种固定的硬件产品转变为一种可以自主学习、不断更新的用户产品;现在 AI 汽车的定义,汽车再一次从用户产品转变为智能产品。


当然,这种实现离不开许多汽车公司的粉丝,以吴新宙的前雇主小鹏为例。


在自动驾驶方面,小鹏拿出了 ALL IN AI 前不久的态度和决心 AI DAY 事实上,小鹏发布了国内第一个量产上车的端到端模型:


感知神经网络 XNet 规控大模型 XPlanner AI 大语言模型 XBrain,并推出了 AI 代驾、AI 停车功能,以及将军 AI 全面应用于驾驶舱和智能驾驶。 AI 天玑系统。


另外,小鹏对 AI 2024年,技术投入也竭尽全力, 年将投入 35 1亿元用于智能研发,新招募 4000 著名的专业人才,以后每年都会投入超过。 7 用于算率训练的亿元。


毫无疑问,小鹏对此 AI 重投,是因为何小鹏和吴新宙的观点一致,智能汽车的新十年,将由 AI 定义。


越来越多的汽车公司,包括小鹏,都在朝着这个潮汐方向涌动。


比如华为、地平线等智能驾驶上游客户,通过自主研发升腾和征程芯片,搭建智能驾驶计算平台,为汽车公司量产智能驾驶提供核心帮助。


蔚来、小鹏、理想、智己等汽车公司都进入了 AI 智能驾驶的战备状态,纷纷上车端到端大模型,加速开城进步。


毕竟,当 AI 技术开始了一场大爆炸,自动驾驶迎来了自己的奇点时刻,谁也要小心自己落后。


02 生成式 AI,究竟有什么魅力?


AI 汽车时代的定义还有多久?


吴新宙认为这段时间是五年之内,并声称「这是不可避免的。」


一个大背景是,以 ChatGPT 以生成式为代表 AI,正在大规模席卷而来,AI 技术已经上升到了前所未有的高度,自动驾驶的天花板也进一步上升。


所谓生成式 AI,它是一种基于算法、模型、规则生成文本、照片、声音、视频、代码等内容的技术,它由一系列深度学习模型组成。


而且这种生成式 AI 网络虚拟数据被广泛应用于网络虚拟世界,网络虚拟数据被收集和生成。


相当于搭建了一座自动驾驶的桥梁,将生成式 AI 与物理学世界相连,从此,生成式 AI 实现物理学世界的技术进化,将自动驾驶带到端到端的路口。


换言之,端到端自动驾驶,能突破瓶颈,走向落地,正是基于生成式驾驶。 AI 技术创新。


与传统的自动驾驶相比,端到端自动驾驶直接从输入到导出,而不是分割感知、预测、规划、控制等子任务。就像人脑一样,接收信息可以立即做出决策。它只需要处理感知和认知问题,这是通往自动驾驶的可靠理想路径。


但是这一路径的实现,需要大规模、多样化、高质量的训练数据作为支撑,而且对算率规模、算法路径的要求也很高。


由于在高级自动驾驶中,已经不能局限于简单的直行向右、绕过行人等驾驶动作,而是要求 AI 进行类人思考,包括看到交警手势示意后左转,碰到塑料瓶可以压过去,碰到救护车要让路等等。


假如把这些场景放在传统的自动驾驶思维上,那么每个特殊场景都应该设计一种从感知、预测到控制的驾驶策略。


很明显,这是不现实的。


这样的行为不仅训练费用高而且效率低,而且仅靠人工策略也无法穷尽每一个意想不到的情况。


而生成式 AI 技术可以解决这些问题,其中,大语言模型 (LLM) 和视觉语言模型 (VLM) 最具代表性。


比如引入大语言模型 (LLM) 后,AI 驾驶相关知识可以从人类社会知识库中获得,并作出辅助决策。也就是说,看到塑料瓶,AI 根据人类过去的行为,可以推断出不需要停下来的驾驶决定。


同时也能识别自然语言,即能及时给出用户指令的正确反馈,在车机交互中表现良好。


包括视觉语言模型和视觉语言模型 (VLM) ,将图像识别与表达处理相结合,可解决问题 AI 如何感知环境问题。


视觉信息可以通过摄像头捕获的图像来描述,识别路标、交通灯、行人等关键视觉元素,也可以直接在驾驶决策中使用。


所有这些大模型都是基于 Transformer 通过对大规模文本、图像等数据的训练,结构具有较强的数据处理、生成能力。


生成式 AI 深入学习技术的逻辑, AI 模型不仅可以提高基准测试数据的质量,还可以自动建立和生成现实世界中难以或无法收集的数据场景,处理数据匮乏和数据质量问题。


它还表明,它可以应对长尾、边缘案例,进一步保证算法的准确性和安全性。


更为重要的是,数据训练的成本降低,效率提高。


马斯克曾透露,通过大型神经网络模型,人工编程。 C 控制代码由 30 万行减少到了 3000 行。


在生成式 AI 在技术的加持下,端到端自动驾驶打破了传统的瓶颈,从技术研发到落地量产都有了解。


对吴新宙来说,端到端将成为自动驾驶的最后一章


值得注意的是,吴新宙对端到端自动驾驶的迭代问题采取了更加理性的态度。


一方面,端到端模型需要不断优化和成长,未来一定足够强大。但是,这个过程需要与原始模型紧密联系,通过原始模型和方法保证安全。这是端到端自动驾驶大规模部署,成为主流的重要过程。


另外一方面,针对「黑盒化」可以分为两个方面来解决问题:


一个是结合传统的算法栈,确保端到端模型的安全性,并且判断模型决定的合理性,输入双方存在差异的地方。


另一个是观察端到端大模型设置周围的导出点。,例如可观察 DEV 输出结果,只进行部分训练等。打开黑盒子里的几扇窗户,看看信号是怎样的。


吴新宙在明确了当前端到端瓶颈的破解思路之后,对这一技术热潮有了坚定的信念,「端到端自动驾驶肯定会到来。


另外,除端到端自动驾驶开启技术升维外,生成式 AI 也可以应用于汽车行业的各个环节,如驾驶舱、汽车设计等。


比如问界采用生成式 AI 技术创造的时间壁纸,可以根据时间段的变化动态变化,利用不同的光影动画特效丰富汽车场景;


极限人工智能助手——SIMO,同样是基于生成式 AI,可集车辆助理、旅行助理、娱乐助理、百科老师于一体,拥有超过 1,000 种类以上的专属能力,无论是交互效率还是创新感受都可圈可点。


在吴新宙眼中,生成式 AI 让很多不可能的事情成为可能,大大拓展了人类创造力的界限,通过最直观的方式有效地向设计师展示各种概率,时间最短。


甚至,它将推动人类第四次工业革命。


回顾前三次人类社会革命浪潮:


蒸汽机、电力和信息技术,每次出现先进的生产力元素,都会使行业发生颠覆性的变化,而这种变化通常是质变。


这种质变可以简单概括为解放生产力,发展生产力。把这句话放在今天的生成中 AI 身体上确认,会发现还是可行的。


生成式 AI 使机器具有与人脑相同的思考和对话能力,而不局限于数据学习和处理。


因此,亚当斯密分工论的主角不再是人,而是人与人, AI。


所以,在高效率下,是经济微笑的持续辉煌曲线。


就像今天的自动驾驶一样,方向盘上的双手再次解放,AI 有可能控制物理世界。


03 英伟达的野心:全栈自动驾驶方案


回到英伟达本身,对于自动驾驶的落地方法论,英伟达已经形成了系统的解决方案。


一是回归芯片本身,保证在汽车公司自主研发芯片,英伟达也可以生产出更大算率、更快变化的商品。


端到端自动驾驶性能如何,取决于数据、算法、算率能否跟上,这是底层基础。


另一方面,从 L2 迈向 L4/L5 每次进阶,对数据、算法、算率都提出了更高的要求。


而且英伟达的芯片正好掐中了算率命脉。最新一代英伟达 DRIVE Thor 例如,计算率已经达到 2000 TOPS,这是上一代 Orin 芯片 8 倍,更是特斯拉 FSD 的 28 倍。


DRIVE Thor 还引入了 Transformer 发动机,这意味着在深度神经网络上安装加速器,提高其推理性能。 9 倍。


显然,英伟达创造了一个适合端到端自动驾驶的芯片。


吴新宙甚至使用了三个「最」来定义它:最高计算能力,最高安全等级,生成 AI、LLM 给予最好的支持


目前,基于 DRIVE Thor 既有上汽、长城等传统汽车公司,也有极氪、智己、小米、蔚来、小鹏等新动力。


二是全栈软硬件服务方案


英伟达除继续垂直延伸芯片业务外,还在横向扩大自己在自动驾驶应用领域的界限。


这可能就是吴新宙对英伟达的吸引力。前者在全栈硬件系统,尤其是软件量产方面的经验,是英伟达未来汽车业务长期发展的重要竞争力。


归根结底,黄仁勋一直对汽车业务寄予希望,「这辆车将是我们接下来的几十亿美元业务。。」


然而,英伟达也感受到了一种危机感,因为汽车公司正在转向全栈自主研发。在地平线、华为、高通、黑芝麻等芯片公司吞噬市场份额的背景下。


所以,吴新宙的首要任务,就是整合和调度英伟达的资源,实施软硬件一体化的全栈落地战略。


当前,英伟达已与比亚迪形成端到端全栈式合作,包括汽车端芯片,DRIVE Orin、DRIVE Thor,智能驾驶芯片,数据中心端解决方案。


自然,在量产竞争中,速度是决胜的关键,吴新宙必须尽快让英伟达达「卷」起来。


他把英伟达的自动驾驶计划分成三步。


步骤一,商品在那里 L2 和 L2 在系统中达到市场第一梯队;


第二步,在 L2 领域取得突破,达到行业领先水平;


第三步,在 2026 年量产 L3,完全从系统中取出人。


现在,英伟达整体上已开始完全布局生成式大模型,并将其放在一边。 VLM、LLM 应用于自动驾驶,打通上游模型和下游模型。


吴新宙对此非常兴奋,他看到了生成式。 AI 随着技术的实现,英伟达正在一步步接近自动驾驶的真正价值。


「我们的核心是让我们不要在车里开车,开车不仅仅是需要, A 点至 B 点是刚需,看手机也是刚需。」


据了解,吴新宙加入后,将英伟达自动驾驶的弦崩得最紧。比如智能驾驶核心团队在短时间内迅速成立,实施高工作强度和快节奏,努力落地。 L2 智能驾驶产品,加速全景迭代速度,实车路测进度等。


对于英伟达来说,要尽快填补自动驾驶全栈方案落地方面的不足,提高汽车业务收入的比例;


对于吴新宙来说,成为英伟达自动驾驶的领航员,主要意义在于改变汽车公司的经验,帮助芯片巨头英伟达明确汽车公司的需求,突破他们之间的合作瓶颈和落地障碍。


可以肯定的是,吴新宙的加入是英伟达实现全栈方案落地的关键筹码,也是占领中国乃至世界自动驾驶市场蛋糕的有力打击。


本文来自微信微信官方账号“汽车之心”(ID:Auto-Bit),作家:刘佳艺,编辑:白雪,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com