《模拟人生》世界模型版:AI虚拟小人街演讲拉票,GPT-4o选举获胜

06-24 10:14
AI 进化速度有点快。

真实的世界模拟器。



在世界模型高度进化之后,内部模型「人」你们都在做什么?


有些人会进行街头演讲,吸引了不少观众,孩子们会和机器狗一起玩:



有些人会在街上犯罪,警察会去逮捕,而另一些人会在公共场合求婚:



这个星期五来自马萨诸塞大学阿默斯特分校。(UMass Amherst)、在虚拟社区中,约翰霍普金斯大学、卡耐基梅隆大学的研究人员提出了一项神奇的研究:(Virtual Community)。


虚拟社区将真实世界的地理空间数据与生成模型相结合,为各种不同类型的智能体创造了一个互动的、可扩展的、有社会基础的开放世界场景。



论文:Virtual Community: An Open World for Humans, Robots, and Society


论文链接:https://virtual-community-ai.github.io/paper.pdf


项目链接:https://virtual-community-ai.github.io/



昨晚提交了这份工作,立刻吸引了一些人 AI 纽约大学助理教授谢赛宁表示,这对智能体研究具有重要意义。



虚拟社区为模拟社区中人类和机器人丰富的社交和物理互动提供了一个统一的框架。它建立在通用游戏引擎之上,并以现实世界为基础。 3D 场景是基础。作者为人们的智能体实现了虚拟人物模拟框架,其中机器人模拟主要是从 Genesis。


虚拟社区通过在环境中添加配备机器人、人类角色、环境变量和社会关系网络的智能体(由 LLM 支持)以支持为基础 3D 智能体社区生成场景。


这个角色都有详细的背景信息和活动时间表,他们也会按照这些设置做事。他们的社会关系是以小组的形式建立的,每个小组聊天包括一组智能身体、文本描述和指定的小组聊天活动场地,所以这些角色会被组合成一个有凝聚力的社区。



基于现实世界地理空间数据,虚拟社区将生成情景和相应的智能体。如图所示:情景生成部件(A)采用生成模型提升纹路,并精炼粗糙。 3D 在简化几何结构的同时,对地理空间数据进行精细化。此外,还采用生成方法建立互动对象和细致的室内场景。智能化生成部件(B)运用 LLM 智能体角色和网络社交网络是根据场景描述生成的。(C)再基于 Genesis 在开放的世界场景中,引擎模拟虚拟人物社区和机器人。



令人感兴趣的是,它可以模拟世界任何地方。 3D 场景,为智能体构建大型社区 —— 从纽约到伦敦,阿姆斯特丹,丹佛等等。




现有的 3D 地理空间数据 API 在数量和多样性方面提供了大量的数据,但它们通常包含大量的噪音,缺乏纹理和几何结构细节。为了解决这一差距,作者提出了一个在线流程,全面清理和增强几何和线条。这个过程包括四个步骤:网格简化、线条细化、目标放置和自动注释。


作者利用这个过程生成 35 世界各地不同城市的注释情景:



虚拟社区还有一个正常运行的交通系统,包括行人移动、车辆流动和公共交通运营。作者基于开发 OSM 自动化数据动态交通生成机制,能在全球范围内快速重建市政道路网络,实现自主交通模拟。



机器人作为一个平台,帮助未来人们与机器合作练习,将成为虚拟社区不可或缺的一部分,无处不在,无处不在。「人类」无缝互动。目前,宇树的人形机器人、波士顿动力的机器狗、四轴无人机、谷歌机器人等已经导入的机器人。



利用虚拟社区发布的新功能,作者引入了两项新的具体多智能体任务:一项涉及多个人类智能理论的竞选任务,一项涉及机器人和人类智能理论的社区助理任务。为了成功完成这些任务,智能体需要具备在社区环境中布局的能力,以及与其他智能体互动的社会智能。


作为这两项任务的基础,如果没有分配到特定的任务,社区中的智能体验将遵循默认的日常规划和惯例。在每一轮游戏中,都会选择多个智能主体,并为其分配一项任务。当智能主体被赋予任务时,它将暂停日常计划,并致力于在社区中完成社会任务的分配。


在「竞选」在任务中,候选人的智能主体必须有效地规划与社区中的选民智能主体的联系和说服。由于选民的性格和社会关系不同,一些选民最初可能会专注于一些候选人,这就要求每个候选人在整个选举过程中制定适应策略来影响和改变选民的建议。


如图所示,选择结果 GPT-4o 干部候选人比选择 GPT-3.5-turbo 干部候选人具有较高的平均值和转化率,这意味着他们能够在大多数场景中改变选民的观点。



社区助理任务的场景是两个异构机器人在开放的世界环境中合作帮助人类。这些任务需要智能身体进行合作规划,以帮助人类成为日常活动。 —— 运输,即智能体陪伴每个人外出并协助运输物品;并且运输,即智能体将物品从源位(室内或室外)运输到目的地。


实验数据显示,两种基线方法在交付中的表现都优于携带,这反映了在动态开放世界中很难同时控制物体,跟随人类。


作者希望虚拟社区工作能够帮助我们对未来的社会智能进行大规模的研究,包括:1)如何智能合作或竞争机器人;2)人类如何发展社会关系,建立社区;3)如何在开放的世界中共存服务机器人和人类。


下面是应该探索的团队成员:



详情请参考论文原文。


本文来自微信微信官方账号“机器之心”(ID:作者:泽南、杨文、36氪经授权发布,almosthuman2014)。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com