北京大学北邮门，机器人打开

搜集了328×204条数据，只是为了让机器人把开门这件事做到极致。

这些都是北大董豪团队和北邮何召锋团队的新研究。

做到了开箱即用，不需要在现实世界中再次微调，就可以控制门、门等各种可以想到的门。

不管是普通的圆形门把手；

或者储物柜需要钥匙才能打开；

即使打开保险箱，对它来说也是不言而喻的。

现在项目首页和论文都已上线，数据和模拟环境代码也已开源。

所以，这个专门开门的机器人框架，有什么强大的地方呢？

新SOTA开门任务

该框架名为UniDoorManip，集成了一个庞大的模拟数据集，并有效地模拟了现实世界中的门操作机制。

该框架首次提出了一套具有规模和多样性的模拟环境类物体数据，与之前CMU的开门策略相比。

UniDoorManip利用门系统的特点，通过收集大规模模仿真数据来完成对类别物体的操作，训练出跨类型统一的开门策略。

作者对最具挑战性的拉门任务进行了测试，以评估机器人的实际表现。

最具挑战性的原因是机器人需要在不脱落手柄的情况下抓住机械臂的爪子，保证机械臂本身的姿势和底座的移动不会影响开门的操作。

以下比较了UniDoorManip和baseline方案(如强化学习和一些启发算法)在训练集和测试集下将门打开到45。°这一框架的成功率得到了证实。

此外，作者还进行了进一步的实验，以进一步验证框架在更大开门角度的鲁棒性。

因此，当视角增加到60度时，这个框架仍然保持着70%的成功率。

所以，在开门这件事上，这个机器人框架，也许真的比人更“博学多才”…

那UniDoorManip框架又是如何让机器人学会独立开门的呢？

像人类一样完成动作

咱们不妨先想一想，人在开门的时候是怎么操作的？

先准确地找出门把手的位置，然后根据手柄的不同形状，再进行抓握和旋转操作。

受到人类开门过程的启发，研究小组分阶段解耦了整个开门操作，每一阶段都配备了专门的操作策略决策专家。

通过整合各个阶段的专家策略，形成了一个通用的开门策略框架，从而提高了机器人的操作效率和适应性。

当然，只有战略不够，还要有训练数据，这样机器人才能学会不同情况下的应对措施。

因此，为了提高机器人应对不同环境的实用性，研究小组建立了一套庞大的模拟数据集，在模拟环境中重现了各种复杂的开放场景。

以往的数据集，如DoorGym和PartNet-Mobility，缺少类似门类的物体，因此作者建立了一个大规模的模拟数据集urdf模型，基于现实生活中具有类似开门机制的物体。

这些数据包括六种类型的物体：门、窗、保险箱、汽车、橱柜和冰箱。

与此同时，该数据应用部件组合的特点，首先构建手柄和门扇的数据集，然后进行安装组合，保证了数据集的方便性和可扩展性。

到目前为止，这些数据包括328个门扇和204个把手，可以组装成8000多个urdf模型(统一的机器人描述格式)。

为了覆盖更复杂的操作机制，作者团队正在进一步扩展这些数据。

为更贴近生活场景开门场景，作者专门设计了UniDoorManip开门机制，确保只有轻按手柄后才能推开门。

由于模拟环境中冲击计算的不稳定性，直接使用门锁来控制门锁的开关很容易导致门锁与门扇之间的穿模问题。

在现实世界中，当人们打开锁门时，门板会对门板产生与人的拉力相反的平衡感，从而促使门扇保持静止。

考虑到这一问题，作者选择了外加抵抗来代替门锁的特性，从而模拟了真实场景中门锁的机制。

另一个问题是，由于开门过程中整个动作空间特别大，直接采用端到端的策略是不可行的，因此处理了与真实场景的区别。

作者将开门过程转化为三个阶段，每个阶段都获得一个通用的操作策略，然后整合在一起，通过反向训练克服阶段中间策略转换状态不匹配的问题。

在初始阶段，基于输入观测点云的模型预测了视觉可执行性先验Affordance。这种视觉先验引导机器人抓住手柄，可以使开门的成功率最高。

在第二阶段，作者使用了生成器和判别器的框架，生成器选择条件变分自编码器。（cVAE）网络结构生成下一步可以执行的动作，而判别器根据目前的点云和机械臂状态观察，对生成的一系列动作进行通过率评分，最终执行得分最高的动作。在这个阶段，必须确保导出动作的策略可以泛化到各种操作机制，然后解锁门。

最后阶段采用了类似上一阶段的结构，模型导出闭环动作不断打开门。在这里，输出动作不仅可以保证门把手不会稳定脱落，还可以防止机械臂本身与门发生冲击。

论文地址：https://arxiv.org/abs/2403.02604项目主页：https://unidoormanip.github.io/GitHub：https://github.com/sectionZ6//UniDoorManip

本文来自微信微信官方账号“量子位”（ID:QbitAI），作者：UniDoorManip团队，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com