意图识别:实现人与智能体之间的有效沟通
意图识别是指了解他人或智力体的意图,是人类有效沟通和适应社会的重要能力。经过数百万年的进化,人类有能力识别外部刺激意图。现代研究发现,婴儿在14个月内已经能够识别他人的意图。研究还发现,意图识别能力的不足与自闭症等个人沟通异常明显有关。随着人工智能技术的不断发展,人类与智能体的交流越来越多,意图识别对于人们与智能体的有效沟通和和谐共处非常重要。因此,意图识别逐渐成为学术研究的热点。根据搜索,1990年有77篇关于意图识别的研究论文;2020年,这个数字增加到2251篇;到2023年,这个领域已经发表了2376篇研究论文。
本论文将与读者一起探讨意图识别的基本概念,并介绍其在智能设计中的应用。
意图识别
意图可以分为社会性(例如会议等)和私人性(例如个人驾驶等);意图也可分为长期(如旅游计划)和短期(如汽车刹车)。由于涉及社会或长期意图的因素很多,目前的研究主要集中在特定的环境,尤其是人机交互中的短期操作意图识别。
这一短期操作意图的识别有两个重要特征:及时性和直接性。及时性是指意图从生成、计划到执行的时间间隔很短。直接性是指意图与当前操作人员执行的任务密切相关。
1. SUT 意图识别模型
我们构建了SUTT,以识别复杂人机系统中的操作意图,如飞行员驾驶飞机、列车司机驾驶列车等。(S,situation ;U,user ;T,task)意图识别模型。在人机系统中,我们假设, 整个系统的操作意图有一个总集。通过对目标和情景状态的分析,逐步聚集了操作意图。最后,特定目标和情况下的操作意图可以通过操作者的意图识别来确定。例如,飞机的每一次操作, 如果按下启动按钮,就会对应一个操作意图。把所有的操作意图汇集起来,就会有一个整体的操作意图集。在飞机起飞的时候,也就是任务。(T)为了起飞,整体操作意图可以转化为起飞阶段的操作意图集合。若飞机左侧刮来侧风,即情景。(S)产生变化,起飞阶段的操作意图集合相应地转换为应对侧风的操作意图集合。在此基础上,通过飞行员(U)操作意图的识别,可以在有侧风的前提下确定起飞阶段和具体操作意图。
对于复杂的人机系统,获取操作意图总集和特定任务情境的意图子集是一个复杂的系统工作, 工作领域分析、操作策略分析、操作任务分析、系统功能分配分析、意图和认知信息分析等都需要特殊的目标和场景分析。此外,这些意图集之间的转换需要自动收集和处理各种系统参数。
SUT模型已经应用于复杂人机系统的操作意图识别,并且在项目实践中取得了良好的效果。例如, 在过去的飞机显示设计中,飞行员需要通过电子显示屏搜索菜单和选项来操作。有了意图识别机制,电子显示屏可以自动显示飞行员所需的操作选项,从而节省搜索工作,实现“按需显示-操作”的新型信息显示模式。
在复杂的系统中,SUT意图识别模型提供了许多方法来分析人类的意图。通过对任务、场景和当事人的分析,逐步简化复杂的问题,最终得到更完美的结果。对于类似的系统,也可以参考这一渐进的分析思路,对看似复杂的问题进行分析。例如,在人工智能翻译中,“你好”这个句子的在线翻译非常简单,但是它的实际含义涉及到语义分析。通过对演讲者的特点、场景和所从事的事情(任务)的分析,可以获得更好的意图识别结果。
2. 操作者操作意图的识别
在SUT模型中,操作者操作意图的识别是人机系统中短期意图识别的重要组成部分。需要分析其外部行为、神经生理指标和环境线索来识别操作者的意图。
外部行为特征包括操作者的操作信息和操作图像特征。操作信息是指操作人员在人机界面上的操作,机器系统记录的信息,如按钮速度。操作图像特征是指操作人员在人机交互操作时的外部图像特征,如眼动轨迹、注视点、头部旋转视角等。这些行为信息需要通过专用设备收集。 例如眼动系统,动作捕捉系统等。
运用外部行为特征可以更好地实现操作意图识别。例如,使用BPP通过方向盘转角、转角速度、转变扭矩、方向灯状态等状态参数。(back propagation)对驾驶员变道意图进行神经网络构建模型预测,实验结果显示该模型的准确性达到91%。另外,通过摄像机获取双眼凝视特征、头部运动状态、面部视觉状态等特征信息识别操作意图也有较好的效果。眼睛凝视行为是人类归因意向的一个重要线索,人类常常通过眼动凝视来预测和解释他人的意图。
肌电信号、表面肌电信号、脑电信号等神经生理信号在意图识别中也很常见。在智能假肢和外骨骼机器人系统中,肌肉电信号被广泛使用,可以直观地反映肌肉运动的倾向,进而分析运动的意图。例如,有些人设计了一种膝盖外骨骼,通过增加肌肉电力传感器,将运动意图识别通过率从82.1%提高到92%(指膝骨中心到脚踝的距离)传感器与编码器和LBAK(指膝骨中心到脚踝的距离)相结合,同时缩短了27.1。ms。
对于操作意图,环境信息的识别也很重要。例如,在驾驶场景中,操纵意图通常与道路环境有关。交通环境是激发或阻碍驾驶员变道意图的关键因素。
在实践中,研究人员通常采用多模态信息整合的方式收集操作人员在操作过程中的外部行为、生理和环境等信息,并在此基础上选择深度学习等算法来构建识别模型。

智能设计
基于意图识别的智能设计可以感知外部信息,进行分析处理和独立反应,从而大大改善人们的工作、生活和学习条件。
1. 人机系统
通过推送信息和提供协助操作,智能设计的目的是提高系统的效率和安全性。
推送信息包括辅助信息和预警信息。辅助信息是指相关信息,如操作模式、操作内容和环境信息,帮助操作者更高效地操作。在交互式显示屏设计中,系统可以直接推送操作人员执行相关操作的信息,实现“按需显示-操作”的信息显示模式,甚至通过控制键的突出显示推送操作模式的信息。这样不仅可以缩短操作时间,还有助于高效管理工作负荷。
警告信息是系统意识到风险时向操作人员推送的警告信息,旨在提示操作人员提高警惕, 避免事故。例如,当驾驶员变道预测模型检测到驾驶员的操作意图违反交通规则时,会自动发出警告,防止交通事故发生。
辅助性操作模式包括模糊控制和人机共享控制。模糊性控制是最常用的智能控制方法之一, 操作者无需精确控制操作设备即可完成任务。例如,智能鼠标在识别操作人员的操作意图后,会自动调整鼠标控制显示增益,保证操作人员的有效操作。当需要远距离移动光标时,增益会增加,操作者只需要移动很短的距离就可以达到目的点;精细定位操作时,增益会减少,有利于精细操作。再比如,焊接工人在远程操作智能机械臂进行焊接时,由于抖动缺乏经验,容易出现锯齿轨迹。识别工人的操作意图可以帮助系统帮助工人按照预期路径完成焊接,显著减少轨迹中的缺陷。
在操作不当的情况下,人机共享控制权也是实现协助操作的一种方式,可以及时干预。
例如,当飞行员在飞行过程中出现不合理的操作意图时,驾驶室助手系统应及时识别并反馈给空管部门,以采取适当措施确保飞行安全。在紧急情况下,驾驶员很容易因为紧张而变得过多或过大。 在识别紧急避让操作意图时,系统会及时干预,以保持车辆的稳定性。
2. 智能化设计的应用
意图识别不仅适用于工作场景,也广泛应用于生活学习场景。这些应用不仅是操作性的,也是社会性的。
第一,意图识别已广泛应用于人们常用的APP设计中。例如,在出租车APP中,GPS定位可以自动默认,而目的地默认为常见的地方。若开发者更机智,可借助SUT方法更准确地设定用户的起点和目的地。举例来说,如果你每天打车,地点和时间都比较固定,APP可以根据GPS的定位和时间来判断,自动设定起点和目的地。
基于意图识别的原理,我们设计了一个自适应的动态手机电话。当你去北京旅行或旅行时,你经常联系的朋友的名字会自动排列在电话本的顶部,以避免搜索的困惑。
这一基于意图识别的智能设计思路可以推广到APP的整体结构设计。对于一款APP,我们进行了评估和更新。最初的设计有上百个操作功能,顾客需要通过菜单搜索功能。研究表明, 用户常用的功能只有十个。因此,我们对APP的交互设计进行了改进,将这十个功能图标直接放在首页。通过这种方式,用户不需要搜索,提高了操作效率。但是,许多软件界面设计并没有考虑到客户的操作意图。例如,最新的智能手机“设置”功能,界面呈现出一堆设置选项,用户需要找到所需的功能。如果你知道80%以上的用户在“设置”中只连接局域网,你会觉得今天的智能手机其实并不智能,也没有体现意图识别的优势。
除软件界面设计外,生活设施和环境中还有许多智能设计。例如,智能马桶通过人体姿势识别系统自动打开盖子;机场车站和家庭社区通过面部识别技术自动放行人员;学校教室和会议厅的照明通过人群姿势识别系统自动设置会议和PPT播放模式。此外,人体动态姿态和状态识别系统也可以用于环境照明、温度和通风设计,调整各种微环境参数,提高人们在环境中的舒适度。
伴随着科学技术水平的提高,特别是AI技术的发展,基于意图识别的智能设计将逐步取代传统设计,一个全新的智能时代即将到来。
展望
首先需要注意的是,从SUT模型到操作意图的识别,再到智能设计,我们讨论的意图识别都是机器(或智能体)对操作者(或当事人)的意图识别。但是互动是双向的,换句话说,操作者(或当事人)对机器(或智能体)的意图识别也是一种意图识别。我称之为“智能体意图识别”。有效地实现对智能体的意图识别,是人与智能体建立互信的基础,也是人与AI和谐共处、合作发展的基础。
在今年(2024年),ChatGPT等生成智能体引起了极大的关注之后,一些人测试了人类与ChatGPT之间的沟通能力。结果表明,ChatGPT在错误信念、失礼等五项测试中,在四项测试中优于人类个人。另外,有人提出了“人工智能智力”(AIQ)的概念。这类AIQ的高低, 直接关系到人类与智能体交流的有效性。所以,为了提高人与智能体之间的有效互动,我们需要加强对智能体意图识别的研究。
另一个问题是,如果智能体能能够有效地识别人类的意图,我们能否接受这一事实?我认为能够做出肯定答案的人很少。每一个人都需要隐私,行为意图是最大的隐私之一。所以,在工作场景中,为了系统的效率和安全,智能体应有效地识别人类的操作意图;但是在其它地方, 例如在生活场景中,应该避免智能体识别人的意图。这个问题需要更多学科的参与和深入的研究。
本文主要介绍了基于该技术的机器或智能机器识别技术和智能设计思路。我们相信技术的进步需要更多的研究。我们现在所做的一切都是为了实现我们美好的想法。MI·栏目
主要参考文献
Deng Q, Wang J, Hillebrand K, et al. Prediction performance of lane changing behaviors: a study of combining
environmental and eye-tracking data in a driving simulator[J]. IEEE Transactions on Intelligent Transportation
Systems,2019,21(8):3561-3570.
Strachan J W A, Albergo D, Borghini G, et al. Testing theory of mind in large language models and humans[J].
Nature Human Behaviour, 2024:1-11.
Khalil R, Tindle R, Boraud T, et al. Social decision making in autism: On the impact of mirror neurons, motor control,
and imitative behaviors[J]. CNS neuroscience & therapeutics, 2018,24(8):669-676.
Leonhardt V, Wanielik G. Feature evaluation for lane change prediction based on driving situation and
driver behavior[C]//2017 20th International Conference on Information Fusion (Fusion). IEEE, 2017: 1-7.
Moon D H, Kim D, Hong Y D. Intention detection using physical sensors and electromyogram for a single leg
knee exoskeleton[J]. Sensors, 2019, 19(20): 4447.
Qin X, Lu J G, Chen C, et al. Artificial Intelligence Quotient (AIQ)[J]. Available at SSRN 4787320, 2024.
Searle J R. Intentionality: An essay in the philosophy of mind[M]. Cambridge university press, 1983.
Wang Q, Jiao W, Yu R, et al. Virtual reality robot-assisted welding based on human intention recognition[J].
IEEE Transactions on Automation Science and Engineering, 2019, 17(2): 799-808.
Yott J, Poulin-Dubois D. Are infants’ theory-of-mind abilities well integrated? Implicit understanding of
intentions, desires, and beliefs[J]. Journal of Cognition and Development, 2016, 17(5): 683-698.
Zheng H, Ma S, Fang L, et al. Braking intention recognition algorithm based on electronic braking system in
commercial vehicles[J]. International Journal of Heavy Vehicle Systems, 2019, 26(3-4): 268-290.
卢辉遒, 赵枫,谢波,等等。在冰雪环境下,基于神经网络的司机换道意图识别[J].吉林大学学报( 2023,53(1)工程版:273-284.
基于自适应鼠标的指导性任务效率研究[D].2014年浙江理工大学硕士学位论文.
本文来源于微信公众号“复旦商业知识”(ID:BKfudan),作者:葛列众,36氪经授权发布。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




