中国科学院科学家首次证实，大语言模型可以像人类一样“理解”事物

IT 世家 6 月 11 日消息，IT 世家从中国科学院自动化研究所微信微信官方账号了解到，最近神经计算与脑机交互（NeuBCI）结合行为实验和神经图像分析，课题组与中国科学院脑科学与智能技术卓越创新中心的联合团队，首次证实多模态大语言模型（MLLMs）能自发地形成与人类高度相似的物体概念表征系统。这项研究不仅为人工智能认知科学开辟了一条新的道路，也为人工智能系统构建了一个理论框架，进一步构建了类人认知结构。有关研究成果如下 Human-like object concept representations emerge naturally in multimodal large language models 发表于《自然》的问题・机器智能》（Nature Machine Intelligence）。

人类可以概念自然界中的物体，长期以来被认为是人类智力的关键。当我们看到“狗”、“汽车”或“苹果”时，我们不仅可以识别它们的物理特征(尺寸、颜色、形状等)。)，还可以理解它们的功能、情感价值和文化意义。 —— 这一多维概念的表征形成了人类认知的基石。

传统的人工智能研究侧重于物体识别的准确性，但很少讨论模型是否真正“理解”物体的含义。“目前，论文通讯作者何晖光研究员指出：” AI 可以区分猫狗的图片，但是这种‘识别’和人类‘理解’猫狗的本质区别还有待揭示。“团队从认知神经科学经典理论出发，设计了一套创新的模型计算、行为实验和脑科学相结合的模型。选择经典的认知心理学“三选一异类识别任务”进行研究（triplet odd-one-out），从物体概念三元组(来自物体概念三元组)要求大模型和人类 1854 在日常概念的任意组合中选择最不相似的选项。通过分析 470 团队首次建立了万次行为判断数据。 AI “概念地图”大模型。

试验范式示意图。a，物理概念集和包含语言描述的图像示例。b-d，分别针对 LLM、MLLM 以及嵌入空间的人类行为测试范式和概念。

研究人员从海量大模型行为数据中提取出来 66 一个“精神层面”，并且给这些层面贴上了语义标签。研究表明，这些层次是高度可以解释的，并且与大脑类别选择区域(如面部处理) FFA、处理场景的 PPA、处理躯体的 EBA）显著的神经活动模式有关。

在行为选择模式上，研究还比较了多种模式与人类的一致性。（Human consistency）。资料显示，多模态大模型(例如 Gemini_Pro_Vision、Qwen2_VL）在一致性方面表现更好。此外，研究还揭示了人类在做决定时更倾向于结合视觉特征和语义信息进行判断，而大模型则侧重于依靠语义标签和抽象概念。这项研究发现，大语言模型并不是“随机鹦鹉”，而是类似于人类对现实世界概念的理解。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com