端到端2025年上车，华为、小鹏早就准备好了。
端到端在中国，将从一个热词变成现实。
日前，辰韬资本联合多家单位发布了《端到端自动驾驶行业2024年研究报告》(以下简称《报告》)认为：国内自动驾驶公司的模块化端到端方案可能在2025年上车量产。
报告将“端到端”发展四个阶段：感知“端到端”、模型化的决策规划，模块化的端到端，One 端到端的Model。
而One 从2026年到2027年，Model端到端系统的中性预期落地时间可以晚于模块化端到端1~2年，从2026年到2027年。
它符合我国头部相关企业的规划。
目前，国内头部乘用车自动驾驶企业，包括华为、小鹏、元戎启动、商汤绝影等。，已于2024-2025年公开启动端自动驾驶计划。。
端到端将如何从热词到现实落地？
01 端到端是什么？
端到端的概念已经存在，应用于自动驾驶行业。最初的核心定义是“从传感器输入到控制输出的单一神经网络模型”。
但是经过调查，报告认为，端到端的核心定义标准应该是：感知信息无损传递，可以实现自动驾驶系统的全局优化。并且可以分为四个阶段：感知“端到端”、模型化的决策规划，模块化的端到端，One 端到端的Model。
第一阶段和第二阶段都可以感知信息的无损传递，可以进行梯度传递。
虽然模块化端到端仍然分为多个模块，但每一个模块都可以模型化，然后感知信息无损传递，可以实现全局优化。模块化端到端仍然属于判别/监督学习的类型。
One Model是一种基于生成大模型概念的生成/自回归模式，依赖LLM或世界模型。
为什么自动驾驶行业从现在开始从端到端进行技术转型？
零一汽车智能驾驶合伙人，前图森感知负责人王邈渠在发布报告的研讨会上表示，传统算法系统在实施过程中面临许多挑战:
分割模块导致结构复杂。传统算法系统一般有三四十个模块，每个模块的上限都不高，但是信息传输和系统优化难度大，模块和系统之间的局部和整体优化目标矛盾；
开发费用。随着模块的增加，开发/维护/人工成本飙升；
泛化性差。叠加规则应对交付压力，导致维护性和可扩展性下降；
大规模实用很难落地。目前主要产品只能在有限的情况下定点(如某些城市/示范区/高速)，而不是大规模运营。算法和软硬件绑定太深，更多的车型/平台/场景很难适应；
端到端则提供了解决问题的新思路。
端到端作为一种自动驾驶产品。长尾场景有很强的适应能力，更拟人化。此外，基于端到端的结构模式，“简化组织结构，提高开发流程效率，拆除部门墙壁。"辰韬资本投资经理刘煜冬说。
在实践中，特斯拉应用端到端神经网络架构的FSD V12的平均接管过程从之前的166公里提高到333公里。
与此同时，大语言模型和生成式AI的发展表明了数据驱动推动自动驾驶向AGI发展的可行性。
报告显示，中国智能驾驶/自动驾驶行业对端到端已经达成战略共识，大部分已经完全拥抱或积极预测端到端，但对未来预期仍有较大分析。
对落地实践而言，激进者估计在2年内，而传统者则认为需要5年以上。
有意思的是，木头姐姐对特斯拉未来五年不能推出自动驾驶出租车的概率判断是“微乎其微”。
端到端是否是最终的技术路线，并且对当前行业格局产生颠覆性的影响，受访者的观点是一半一半。
02 端到端的落地条件
战略承认，但要落地端到端还是举步维艰。
报告认为，端到端的落地也面临着许多挑战，包括技术路线、数据和计算能力要求、测试验证、组织资源投入等。
资料是第一个难题。
根据目前的公开信息，特斯拉挖掘了数万小时的视频数据作为FSD训练的需要，超过20亿公里。一位自动驾驶工程师还提到，当他们练习端到端模型时，他们发现只有积累的路试数据。 2%可以用。
除了训练信息量之外，端到端如何做数据闭环也逐渐成为难题。
在过去，在模块化的传统系统中，每个模型任务都非常具体，例如检查红绿灯。机器学习后，可以使用数千万的红绿灯数据进行闭环验证和迭代。
但面对“驾驶”的全球任务端到端系统，可以称之为“闭环”的验证方法，即让学习后的系统直接在路上行驶，由现实世界反馈。
但是不言而喻，在确定高安全性之前，没有人敢让系统在现实世界中“闭环”。与此同时，在端到端系统大幅降低接管率后，依靠测试车等“闭环”方式也变得更加困难。
在最近的股东大会上，特斯拉创始人马斯克表示，如果没有像特斯拉那样的数十万辆车队，通过影子模式对其系统进行闭环检测，就不能参加这个“游戏”。
光轮智能创始人CEO谢晨对信息量和闭环的困难表示：“在处理端到端数据短缺方面，只有特斯拉拥有特斯拉的数据量级和能力。”
生成数据需要满足视觉、物理的真实性；Agent交互和规模效率的需要。“光轮的合成数据可以高度闭环复制，精确泛化，实现多Agent高交互。三年内生成的数据将是大型数据最重要的信息来源。光轮智能赋予每个企业特斯拉的数据能力。放大数据价值100倍。”
另一个很明显的计算率问题。
通过对报告的调查，大多数受访者表示，100个开算率GPU(如A100)可以开始端到端的第一阶段训练。
但是从特斯拉和其他领先玩家的实践来看，要做好端到端，对计算能力的训练需求显然不仅仅是这个量级。
特斯拉在2024Q1财务报告电话会上表示，该公司已有35000张H1000张。 GPU，并且计划在2024年增加到85000张H100以上，达到和谷歌、亚马逊一样的水平。
根据这一规模预期，马斯克最近表示，特斯拉不再紧张。
在中国，小鹏“ 扶摇 "自动驾驶智算中心，计算率可达600PFLOPS(以英伟达A100 FP32GPU计算率计算，大约等于30,000个A100。 GPU)，并且宣布今年将投入1亿美元进行算率建设，未来每年将进一步增加投资。
商汤大设备已布局全国一体化智算网络，GPU4.5万元，总算率达到12000PFLOPS，2024年底将达到18000PFLOPS。
目前大多数研发端到端自动驾驶公司的实践算率都在千卡等级。
03 端到端的国内落地状况
目前，国内原始设备制造商、自动驾驶算法和系统公司已经拿出了自己的端到端系统，甚至有些已经量产或实现了定点。
上半年，华为、小鹏先后公布了自己的端到端系统。
华为乾ADS 技术结构3.0，感知部分采用GOD(General Object Detection，大感知网络，通用障碍物识别)，决策策划部分采用 PDP(Prediction-Decision- Planning, 预测决策规控)网络实现了一个网络的预决策和规划。
神经网络XNet小鹏端到端大模型 控制XPlanner大模型 大语言模型由XBrain组成。上车后，小鹏的智能驾驶能力将在18个月内提升30倍，智能驾驶模型每2天迭代一次。
在这些模型中，小鹏的端到端模型已经在五月份开始推送。
从事卡车业务的零一汽车也推出了纯视觉端到端自动驾驶系统基于大型模型。通过多模态大语言模型的解码，整个系统采用摄像头和导航信息作为输入，产生规控信号和逻辑判断信息，减少系统的复杂性 90%。
零一计划在2024年底实现端到端自动驾驶的布署，2025年同时在商用车和乘用车平台上实现量产，并且计划在2026年实现高级自动驾驶的大规模商业化运营。
商汤绝影是目前极少数实践一段式端到端的智驾公司。当我们试图对所有场景进行合理的解释时，我们发现需要定义的感知和控制界面是无穷无尽的，一段式的端到端能力上限会更高。“所以，我们在开发端到端方案的时候，是按照一段式的方式推进的。”商汤绝影智能驾驶产品总监赵祥磊说。
商汤绝影端到端方案"UniAD”
在北京车展上，商汤绝影推出了端到端自动驾驶解决方案，面向量产。 “UniAD“，你可以像人一样观察和理解外部环境，而不需要高精度的地图。你可以像人一样思考和做出决定，像人一样开车，独立解决各种困难城市的复杂驾驶问题。 驶情景。
同时，商汤绝影还发布了下一代自动驾驶技术DriveAGI，即基于多模态大模型对端到端智能驾驶方案进行改进和优化。 “One Model 端到端 ”。
北京车展期间，智能机器人创始人、CTO都大龙表示，智能原创自动驾驶端到端模型 GraphAD已经可以量产布署，并且正在与头部车企联合开发。“端到端范式之所以被称为GraphAD， 因为鉴智利用图形结构来显示建模目标，包括动态和静态障碍物之间的关系。 ——这样就使端到端模型更容易训练，也进一步减少了对信息量的需求。。”
《报告》展望，基于自动驾驶行业龙头玩家提出端到端量产计划，预计模块化端到端系统将于2025年上车，这将推动上游技术进步、市场和产业格局的演变。
从技术上讲，端到端的落地将推动其依赖的上游工具链、芯片等加速进步。
在市场端，端到端带来的自动驾驶体验的提升，将带来高级辅助驾驶渗透率的提升；由于其强大的通用性，端到端也可能驱动跨地理区域、跨中国、跨场景自动驾驶的应用。
就产业结构而言，端到端使数据和AI人才的重要性进一步提高，可能导致新的产业分工和商业模式。
本文来自微信微信官方账号“赛博汽车”（ID：Cyber-car），作家：朱世耕，编辑：章波澜，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com