将昆虫视觉神经网络安装在机械眼睛上！杨浦大学用AI解码微观世界

在雾蒙蒙的湖边，一只薄薄的翅膀蜻蜓蜿蜒，仿佛被时间按下了暂停键，悬停在波涛汹涌的湖面上。蜻蜓琥珀色的眼睛微微闪烁，凝视着在水波褶皱中游动的美味佳肴，它的视神经迅速传递着目标信号，让转瞬即逝的残影在它的感官中延伸成一条可以准确捕捉的运动轨迹。

“昆虫看世界”——昆虫以超大的视野和快速的反应感知微观世界。这个惊人的视觉系统为人类的科技探索开辟了新的思路。

AI赋能仿生视觉技术（Science Advances封面图)

科学家们已经开发了各种由微镜阵列和传感器组成的成像系统——仿生复眼成像系统，通过模仿昆虫复眼的多模块阵型设计，有望将昆虫眼中的微观奇迹转化为改变人类生活的创新技术。然而，由于其复杂的三维结构和有限的空间分析能力，传统的仿生复眼成像系统只能以模糊的马塞克图像形式呈现微观世界。

近日，在庄松林教授的指导下，上海理工大学张大伟教授带领的超精密光学制造团队戴博教授和同事指导博士生龙严和美国杜克大学托尼。 Jun Huang教授课题组合作，提出使用AI赋能仿生成像系统，展示百万像素的高分辨率全景成像，在狭小的空间内准确识别特定目标，准确定位三维定位和三维跟踪。有关研究结果是“虫眼看世界：AI赋能仿生视觉高分辨率多任务显像”（Seeing through arthropod eyes: An AI-assisted, biomimetic approach for high-resolution, multi-task imaging））在《科学进步》中发表了问题（Science Advances）在期刊上，被选为封面论文。第一作者是龙严、戴博和常琛亮副教授，张大伟和托尼。 Jun 通讯作者Huang。

仿生视觉系统和成像效果。A 肢体动物视觉系统和仿生视觉系统；B 仿生复眼和视觉系统的实体图；C,D 使用仿生视觉系统来显示和定位目标。

「不但要让仿生视觉系统‘看见’世界，还要让它‘看见’、“理解”这个万千世界。”张大伟教授团队介绍了这项研究工作。这种仿生视觉系统的灵感来源于节肢动物复眼的结构特征和信息处理方法。通过数百个“子眼”的协调工作，昆虫可以立即响应复杂的环境。团队模拟了这个结构，设计了一个0.8立方米厘米的仿生视觉系统，完成了百万像素级全彩超大视野(165。°×360°）超清显像。更为重要的是，它们不仅“模仿”昆虫的视觉系统，而且使用AI来“赋能”。通过深入学习，研究人员构建了一套多层次结构的视觉处理模型，可以在大视野中进行全景图像超清重构、多目标定位、目标识别、目标跟踪等诸多复杂任务，让“仿生视觉”真正具备了“清晰”和“理解”的能力。

研究小组正计划进一步优化仿生复眼结构，深入挖掘仿生视觉技术在细微无人平台、内窥探仪器等高端仪器设备中的应用潜力，帮助开发AI赋能的科学仪器。

文字 | 毛信慧

编辑 | 陈露

*转载请注明上海杨浦官方微信。

原标题：“把昆虫视觉神经网络放在机械的眼睛上！杨浦这所大学用AI解码微观世界”

阅读原文

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com