谷歌推出机器人新“大脑”模型，具备思考与跨形态学习能力

谷歌发布了Gemini Robotics 1.5，让机器人学会思考协作，还能跨不同具身形态学习技能。未来，机器人有望成为能与人类协作、主动完成复杂任务的智能伙伴。

谷歌又为机器人“换大脑”了。DeepMind刚发布了针对机器人和具身智能的Gemini Robotics 1.5系列家族模型，这是专为机器人和具身智能打造的新一代“大脑”。

Gemini Robotics 1.5系列包含Gemini Robotics 1.5和Gemini Robotics - ER 1.5。

• Gemini Robotics 1.5是最先进的视觉 - 语言 - 行动模型，可将视觉信息和指令转化为机器人的运动指令以执行任务。
• Gemini Robotics - ER 1.5是最强大的视觉 - 语言模型，能对物理世界进行推理，直接调用数字工具，并创建详细的多步骤计划来完成任务。

二者结合构建出一个强大的智能体框架。

在一个1分40秒的视频中，谷歌研究科学家让两个机器人完成了两个不同任务。

第一个任务是垃圾分类。让Aloha根据旧金山的垃圾分类标准，把物品分到堆肥（绿桶）、回收（蓝桶）和垃圾（黑桶）里。Aloha通过查阅规则并观察物品，完成了分类任务。

第二个任务是打包行李。让Apollo帮忙打包去伦敦旅行的行李，并放入针织帽。Apollo还主动查询天气，提醒伦敦多天会下雨，并贴心地把雨伞也放进包里。

整体来看，在最新系列模型的加持下，机器人越来越有科幻电影里的感觉了。

为实体任务开启智能体体验

想象一下，一个机器人不仅能看懂你家客厅的杂物，还能规划、思考并亲手收拾干净。Gemini Robotics 1.5朝着这个目标迈出了关键一步。

它让机器人具备“思考后行动”的能力，能在复杂环境中像人类一样理解、推理并完成多步骤任务。这一突破，有望开启通用机器人的新时代。

Gemini Robotics - ER 1.5擅长在物理环境中进行规划与逻辑决策，拥有顶尖的空间理解能力，支持自然语言交互，可评估任务成功率与进度，并能直接调用谷歌搜索等工具获取信息或使用任何第三方用户自定义功能。

随后，Gemini Robotics - ER 1.5会为Gemini Robotics 1.5提供每一步的自然语言指令，后者则运用其视觉与语言理解能力直接执行具体动作。

Gemini Robotics 1.5还能协助机器人反思自身行为，以更好地解决语义复杂的任务，甚至能用自然语言解释其思考过程，这让它的决策更加透明。

这两款模型均基于核心Gemini模型家族构建，并通过不同数据集进行微调以专精于各自职能。当它们协同工作时，可显著提升机器人对长周期任务和多样化环境的泛化能力。

先理解「环境」再「行动」

Gemini Robotics - ER 1.5是首个为具身推理优化的思维模型，在学术和内部基准测试中均实现了最先进的性能表现。

下面展示了Gemini Robotics - ER 1.5的部分能力，包括物体检测与状态估计、分割掩码、指向识别、轨迹预测以及任务进度评估与成功检测。

三「思」而后「行」

传统上，视觉 - 语言 - 动作模型直接将指令或语言规划转化为机器人的运动。但Gemini Robotics 1.5不仅能翻译指令或规划，如今还能在行动前进行思考。

这意味着它能以自然语言生成内部推理与分析序列，从而执行需要多步骤或更深层语义理解的任务。

在一段3分40秒的视频中，谷歌科学家展示了机器人如何完成更复杂的任务。

比如第一段将不同颜色的水果分类放到对应的盘子里。机器人需要能感知环境、分析颜色并逐步完成动作。

第二段Apollo被要求帮助分类洗衣物和打包物品。它能自主思考并在执行中展现出链式任务规划与反应能力，例如调整篮子来更好地捡起衣物，或对临时变化作出即时反应。

跨越不同形态的具身机器人学习

机器人形态各异、大小不一，具备不同的感知能力和自由度，这使得将从一个机器人学到的动作迁移到另一个机器人变得困难。

Gemini Robotics 1.5展现出卓越的跨具身学习能力，它能将从一个机器人学到的动作迁移到另一个机器人，无需针对每种新形态专门调整模型。

这一突破加速了新行为的学习进程，助力机器人变得更智能、更实用。

在一段2分钟的视频里，谷歌科学家展示了不同“物种”机器人之间如何泛化学习。在Gemini Robotics 1.5中，一个模型可以跨多个机器人使用。

比如Aloha在衣柜场景中已有经验，而Apollo从未见过，却能通过迁移学习完成开门、拿衣服等全新动作。这展示了“跨具身学习”的潜力。

未来，不同场景中的机器人（如物流、零售）可互相学习，从而大大加快通用机器人研发的进程。

参考资料：

https://deepmind.google/discover/blog/gemini - robotics - 15 - brings - ai - agents - into - the - physical - world/

本文来自微信公众号“新智元”，作者：定慧，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com