MIT AI不懂的新研究指出no”,逻辑判断缺陷导致否定词成为“盲点”
IT 世家 5 月 22 日消息,麻省理工学院(MIT)最近的研究表明,人工智能(AI)在分析" no "和" not “等否定词仍然存在明显的缺陷,可能会在医疗等关键领域造成严重的风险。
研究发现,AI 发展迅速,有许多实用技能,如诊断疾病、创作诗歌甚至驾驶汽车,但对“ no "和" not “等待否定词,却无能为力。
在博士生 Kumail Alhamoud 的带领下,MIT 团队联合 OpenAI 和牛津大学,发现其中包括 ChatGPT、Gemini 和 Llama 目前的主流模式包括,处理否定语句时,往往注重默认肯定关系,忽略否定语义。
研究表明,这一情况对医疗情况的潜在危害尤为明显。例如,AI 可能误会" no fracture "(无骨裂)或" not enlarged "(未扩大),造成严重后果。
IT 世家援引博文介绍,问题的根源并非数据不足,而是 AI 训练方法。深度学习斯坦福学校兼职教授 Kian Katanforoosh 指出,大多数语言模型依赖于方法预测,而非逻辑判断。
这导致 AI 在面对" not good "(不好)时,仍可能因" good “一个词被误判为正面情绪。专家强调,如果不给模型逻辑推理能力,类似于小而致命的错误将继续发生。
Lagrange Labs 首席研究工程师 Franklin Delehelle 也表示,AI 擅长模仿训练数据中的方法,但缺乏创新或处理训练数据以外情况的能力。
研究小组通过生成否认数据来生成(synthetic negation data)尽量改进模型,取得初步成效,但是否定粗粒度的差异仍然具有挑战性。
Katanforoosh 警告,AI 在法律、医疗、人力资源等领域,对否定的误解不仅仅是一个技术缺陷,而是一个关键的错误。他呼吁解决办法不是积累更多的数据,结合统计学习和结构化思维,提高模型逻辑能力。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




