机器人也有“五感”？端边AI加速了机器人传感的融合，智能还是先感知先行。

假设机器人行业去年上半年发展的关键词是“机器人”＋“概念，那么毫无疑问，从去年下半年到今年年底，机器人行业发展的关键词无疑只有一个，那就是“具身智能”。

虽然应用侧落地的痛点一直困扰着产业链，但智能概念的出现正在加速机器人的发展，尤其是人形机器人的大规模生产和产业化。在今年的北京2024年世界机器人大会上，出现了许多人形机器人，其数量创下了历届大会的最高。

同时，今年也是终端AI快速发展的一年。从芯片制造、操作系统开发到智能终端开发、应用开发，终端AI技术的融合不遗余力。AI可以继续应用到终端，市场上涌现出各种AI智能终端产品，迅速占据份额。

不用说，终端AI在消费电子领域的飞速发展，机器人逐渐与终端AI技术相结合，升级到更高层次的智能化。黄仁勋曾经说过，AI的下一波浪潮将是“具体智能”，即能够理解、推理和与物理世界互动的智能。体现在智能终端上，服务机器人是一种非常常见的智能终端形式，即使是人形机器人也会成为真正意义上的自主智能终端，这种愿景离不开机器人与人工智能技术的深度融合。

机器人感知层、管理层、执行层等各种技术框架作为集前沿科技于一体的商品，都有很大的智能空间。我们缩小切入点，重点从感知层面看传感与人工智能的融合，最终实现智能感知。

从过去感知到机器人具体智能传感

正确执行机器人任务攻略，其根源在于机器人对自己的状态、操作目标和工作环境有正确的认识。它依赖于机器人所携带的传感系统，可以收集足够的内部和外部信息，以便管理人员进行运动计划。这和我们人类是一样的。机器人传感系统是人类的感官。一方面，它收集周围的环境信息，另一方面，它感知自己的状态。传感器、主控和必要的通信连接功能通常用于机器人端侧系统。传感器负责收集真实物理世界的信号，然后将数据传输到主控中进行处理。

对于像工业机器人这样的传统机器人来说，感知部分比较简单，可以使用相位传感器进行操作和控制。最终，一些工业机器人只需要几个感知模块就可以完成一些额外的功能。而且传统的机器人传感器定位只是一个简单的感知器件，属于完全被动的一方，只从旁观者的角度记录目标量，功能点清晰单一。

随着机器人整体软硬件技术的完善和发展，实现了越来越多的功能，机器人本身已经成为传感器高度集成的端侧设备，从电流传感器和温度传感器到IMU、一系列传感器，如编码器、视觉、激光雷达等，从各个层面丰富了机器人对环境和世界的感知。

更重要的是，传感器不再只是被动地记录目标参数，而是变得更加活跃和智能化。它可以根据收集到的数据主动进行一系列以前无法实现的功能，如组合、分类和预测。

这些变化都是由于AI相关技术的引入。如果说这些升级和创新之前只是锦上添花，那么在人形机器人智能化的时代，传感器和AI在端侧设备中的融合绝对成为不可或缺的技术栈。

由于身体智能和传统智能的区别在于身体智能是主动的第一人称智能，数据采集、模型学习和任务执行可以在与环境的交互感知中融为一体，实现自主学习。如果感知层没有与AI深度结合，就很难实现这种主动智能。

从整个具体智能实现的技术框架来看，仍然有三个核心技术环节，即感知、决策和执行，以及配套的通信和交互技术。具体感知是后续环节的支撑，包括对世界模型的全感知和与环境的实时互动感知。事先构建的数据库可以根据真实的互动反馈数据不断自主调整，从而获得更准确的世界理解和模型建立。然后通过建立模拟引擎，模拟具体任务，结合感知数据进行想象操作，为机器人具体执行提供支持。

可以说，具体传感是具体智能机器人的基础。只有一个完整的具体传感系统，机器人才能通过感知传递来实现真正的具体智能，指导运动控制。具体服务机器人需要多种传感器，感知推进运动控制的范式变化。例如，在抓取物体时，首先使用传感器组合来判断位置，然后识别物体的大小，调整伸手距离等。，然后通过力/触觉传感器来调整抓握力，从而完成一系列动作。在这些环节中，每个环节都有AI可以帮助的空间。

端边AI赋能下的机器人感知

端侧AI与传感器的融合是机器人快速发展的领域，很多感知角度的传感器都有了很大的智能提升。相关技术力量正在推动每个不同维度的传感方向。

1. 机器视觉

AI＋3D视觉主导的机器人视觉传感在行业内已经发展了很多年，是AI和传感器相对成熟的跑道。过去，云在即时收集真实数据后，不断提高视觉算法。随着端侧AI的兴起，数据直接从端侧处理，减少了数据传输可能导致的延迟和可靠性。

同时，基于获得的点云/图像信息，端侧可以直接实现一定的计算AI功能，如姿势识别、手势识别、面部识别等。另外，机器人对具体智能的发展更加强调传感器对3D空间和动态环境的理解。收集终端视觉信息只是第一步。后续需要进行视觉感知和推理，了解场景中的3D关系，基于视觉信息预测和执行复杂的任务，从而形成主动的视觉感知，并根据真实的交互反馈数据不断自主调整，完成从模拟到现实的飞跃。

根据Yole的调查数据，2022年3D视觉传感市场的收入已经达到82亿美元，预计到2028年将翻倍至172亿美元。与此同时，MarketsandMarkets的预测显示，到2028年，全球AI传感器市场将达到221亿美元，与2022年的30亿美元相比，复合增长率将达到41.6%

2. 语义识别处理

终端AI在自然语言理解NLP领域的优势也在机器人中得到应用。语音交互、语音唤醒、聊天问答等功能只是最基本的部分，也只是第一步。借助终端的大模型进行自然语言识别。

发出任务指令的机器人，在识别大语言模型后，自动拆解所涉及的机器人技能和子技能，并根据给定的最终目标任务独立构建从Language到Action模型。具体服务机器人更具前瞻性的方向是在终端AI允许下独立安排复杂的任务。

2021年，国内NLP市场规模达到181.3亿元，在AI技术不断融合、迭代升级的背景下，国内NLP市场将在2026年达到836.6亿元。NLP技术的应用边界仍在不断创新，随着人工智能技术的不断融合和完善，以及高度智能化机器人的发展。

3. 机触感和多模态感知

机器人很少提到嗅觉和味觉，触觉作为人类感知世界的重要手段，比视觉和听觉在机器人中的进步要慢得多。即使是现在，触觉的感知也很难称之为完美。

触觉是多模式的，对力的感知确实占了很大一部分，但并不是全部。材料、温度、滚动、回弹等物体的触觉信息都包含在其中。为了使触感完全定量标注，必须对传感器收集到的大量数据进行处理。一些传感器制造商将原始信号的复杂分析函数映射到一维线性空间，以完成机械信号的快速解决，可以减少计算能力的需求，但其他维度的数据仍然需要后期制作。

借助终端AI硬件，多模态触摸感知会变得更加简单。以数据为驱动计算能力的加持，可以快速对各个层面的信号进行分类，分析出多模态参数的完善。前端反应速度更快也使得机器人的触摸反应速度堪比人类。据海外知名咨询机构VMR预测，2028年触觉传感器市场将达到260.8亿美元。

这类外部信息感知已开始与端边AI结合，机器人内部感知也不例外。早在2019年，例外意法半导体就推出了集成ML内核的传感器，可以运行一些简单的AI模型。随后，加持DSP的ISPU在机器人核心IMU设备上更新。（Intelligent Sensor Processing Unit），机器人位置数据可以在端侧自动分析处理。

通过增强传感器上的AI计算能力，完成了海量数据处理的分区，根据算法难度对计算率资源进行配置，大大提高了整个端侧系统的能效，使整个感知更加智能。

拥有智能端侧AI传感，不仅仅是感知。

智能决策感知是第一位的，智能概念促进了机器人向更独立、更智能的未来发展。为了打好智能感知的基础，传感器技术与终端AI技术的结合越来越紧密。未来，机器人将通过视觉/触觉等感知方式识别建立并不断纠正多模态的基本模型，通过听觉理解指令，了解自己的状态，实现复杂的交互和使用。

同样，智能下的机器人传感从感知开始，但不仅仅是感知。传感器不再仅仅是用来感知的硬件，而是在实时、准确、多维感知的基础上，扩展更多与AI相关的功能，利用终端AI提供更多的数据处理、分类和整合价值，最终通过整合的多模态传感数据来提高智能体的理解和决策。

当然，在这个阶段，终端仍然面临着如何更好地将传感器与终端SoC结合起来，兼顾性能和成本的问题。虽然机器人不像其他终端设备那样对成本敏感，但这个问题迟早会面临需要落地的机器人。虽然很多科技巨头都表示，未来人形机器人会像汽车一样普及，但这些现实问题仍然需要考虑机器人的商业落地。

写在最后

机器人传感器从过去感知到机器人的智能传感，延伸了更多与AI相关的计算和整合功能。在终端AI时代，传感器将通过交互感知和自主挖掘，为机器人构建一个不断优化的真实世界模型，推动实现智能目标。

本文来自微信公众号“物联网智库”（ID：作者：李宁远，36氪经授权发布，iot101)。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com