90后复旦博导:在玩具堆中深耕,为机器人锻造智慧大脑

1分钟前
从复旦启航,迈向国际舞台,又带着热忱重返母校

复旦大学可信具身智能研究院

研究员吴祖煊

始终活跃在人工智能与具身智能研究的前沿阵地

他致力于为机器人的“形体”注入智慧内核

教会机器“观察”世界、掌握“动手”能力

秉持因材施教理念,悉心培育学科交叉人才

以实际行动诠释卓越且有趣的师者形象

“具身智能目前仍处于发展初期”

这位90后海归青年正凭借满腔热情与创新精神

不断探索未来机器人的无限可能



在“玩玩具”的过程中

为机器人打造超级“大脑”

湾谷科技园里,吴祖煊的实验室宛如一个充满活力的微型乐园。

实验台上摆满了色彩缤纷的水果模型与拼装玩具,团队近期的日常工作,就像“带小孩”一样,教导机器人学会“玩转”这些玩具。





湾谷科技园内吴祖煊团队实验室

作为计算机视觉与多模态人工智能领域的青年科研工作者,吴祖煊的科研目标宏大且务实:一方面推动计算机理解与生成视频的技术革新;另一方面,借助这些生成的视频训练机器人,赋予其“读懂世界”的智慧,从而真正打通虚拟世界与物理世界的连接桥梁。

“如今能跑步、跳舞的机器人确实炫酷,但它们大多只具备控制身体的‘小脑’,远未拥有完成复杂任务的‘大脑’。”吴祖煊指出当前具身智能的瓶颈,“若让机器人下楼买一杯咖啡,它需要规划路径、学会按电梯,甚至与人交流。对它们而言,完成这一系列步骤仍极具挑战。”



如何为机器人锻造超级“大脑”,是当前具身智能机器人领域面临的核心挑战。解决这一难题,往往需要海量数据作为支撑。

数据收集并非易事。“现在具身智能领域最大的难题就是数据收集。一百条数据大概只能支持机器人完成一个任务。”吴祖煊解释道,传统方法需要工程师手把手教学,比如演示拿水杯、擦盘子,不仅动作数据收集成本高,面对不同场景和动作,人工收集更是耗时耗力。

面对这一困境,吴祖煊团队另辟蹊径:若视频生成模型足够强大,就能生成海量操作视频作为训练数据,替代繁琐的人工收集。基于此,他们自主研发了高效可控的视频生成与编辑模型,为机器人进化提供源源不断的数据支持。

基于人类演示视频(左)和生成模型合成机械臂视频(右),最终部署在真机上(中)

吴祖煊团队近期构建了一个提升视频生成效率的模型,取名“Reducio”,源自《哈利波特》中的“缩小咒”,精准体现了模型对极致压缩的追求。与Sora等追求宏大效果的模型不同,Reducio的特点就是“快”。通过创新编码方法,它能将原始视频压缩4000多倍,实现超高压缩效果。团队论文发表时,Reducio在单张A100 GPU上用16秒生成1K分辨率视频,创下当时全球最快纪录。

有了海量仿真数据,如何让其作用于物理世界?灵感来自吴祖煊两岁的孩子。陪伴孩子玩拼装玩具时,他发现孩子能轻松拼好的柠檬积木,对机器人却极具挑战。即便最简单的“对准、拼合”动作,也涉及精细触觉、力度和空间判断,这正是当前机器智能的盲区。

看似“玩耍”的训练,实则是锻炼机器人的“大脑”,关乎它们能否在工厂进行精密装配、融入人类生活。吴祖煊憧憬:“大脑”发达的机器人有望颠覆未来工业场景。

“中国产业链和应用场景丰富,意味着我们在数据资源上有独特优势。”吴祖煊介绍,团队已与行业头部企业合作采集真实产线数据。他预言,未来3-5年,机器人有望在精密装配领域大显身手,成为人类得力助手。

从产业界转向学术界

只因热爱自由研究

Chatgpt、豆包、Sora……近几年人工智能是科技领域的热门关键词,社交媒体上AI生成的视频随处可见。

“今天人工智能行业的发展,是所有从业者都没想到的。”从学生到科研工作者,吴祖煊十余年扎根计算机领域,专注计算机视觉和深度学习研究。团队在AI领域取得多项突破性成果,开源数据集、模型已应用于华为、字节跳动等企业产品。

选择计算机专业、深耕人工智能,看似是理工科“学霸”的标准路径,但驱动吴祖煊的并非追热点,而是自幼萌发的纯粹兴趣。

“我小学三年级就接触编程了。”他回忆道,小学电脑课上,跟随指令画图的“小乌龟”启蒙了他的代码世界。初中时,他已自学制作网页、捣鼓Flash动画,电脑对他而言是创造无限可能的奇妙工具。

2009年,他考入华东师范大学;2013年进入复旦大学读研,恰逢深度学习浪潮兴起,成为最早将深度学习应用于视频分析的研究者之一。

2018年参加国际计算机视觉与模式识别大会(CVPR)并讲解论文

此后,他远赴美国马里兰大学攻读计算机科学博士,专注动态神经网络加速研究,通俗来说就是让计算机“几分钟看完一部电影”——通过几帧画面快速掌握长视频内容。

他曾在IBM、Salesforce和Facebook等顶尖科技企业实习和工作。但产业界的环境和节奏让他感到研究受限:经济好时公司愿投资研究、鼓励自由探索;形势变化时,研究投资就会收缩。他渴望始终追随兴趣,在计算机前沿研究的无人区自由探索。

于是,吴祖煊做出一个“任性”决定:回国找教职,且只向复旦大学投了一份简历。“没想过去其他院校吗?”“没有,只考虑复旦。”问及原因,他笑着说:“可能纯粹是一种感性。”

这份“感性”或许源于母校的归属感。2021年,他如愿回到复旦,找到了科研的快乐:既能自由探索前沿,又能通过教导学生播撒创新种子。



今年3月,复旦成立可信具身智能研究院,专注具身智能前沿研究与应用落地,吴祖煊是核心成员之一。“复旦为青年老师提供很多支持,包括各类基金项目、卓越人才计划等。在这里,我们能专心做科研。”他说。

精益求精做科研

开拓具身智能的未来

吴祖煊的个人主页上写着:“我正在寻找具备强大编程能力、热衷于设计视觉理解算法的学生”,邀请优秀学生加入课题组。为培养“后浪”,他不遗余力提供更好平台。

“精益求精”是吴祖煊践行的科研理念。他对论文要求高,绝不浅尝辄止。学生交来的课题若有深入空间,他会鼓励继续“挖掘”,提升论文质量。



2024年带领学生参加国际计算机视觉与模式识别大会(CVPR)

在这一理念影响下,团队研究成果丰硕。今年10月,计算机视觉顶尖会议ICCV在美国夏威夷举办,吴祖煊团队多篇文章经严格评审被录用。

如今,吴祖煊带多名博士生在具身智能前沿研究。几年来,每周至少一次、每次半小时以上的一对一组会是课题组传统。他喜欢与学生深入讨论,而非频繁开大型组会。在他看来,面对面交流才能真正了解学生的研究思路和瓶颈,从而量身定制培养方案。

对基础扎实的学生,他鼓励自由探索;对进度慢的学生,他主动协助规划路径。他的办公室随时向学生敞开,学生有问题可随时交流。



“吴老师对我的帮助很大。”即将毕业的博士生陈昊然分享,刚读博时他在就业和学术间摇摆,“我找吴老师聊了很多次,他引导我尝试适合自己的科研道路,告诉我如何成为好科学家。在他影响下,我确定要做科研。”

“具身智能现在还处于早期阶段。”吴祖煊期待团队未来能生成更优质数据,更精准控制机器人并预测动作,让一个模型在不同场景支撑不同机器人完成精细化动作。

随着机器人智能化水平提高,吴祖煊有更宏大的想象:“下一代人工智能或许能像孩子一样,与环境交互学习,实现自主学习。”而他正像陪伴孩子成长的家长,在为机器人“注入智慧”的路上,以赤子之心坚定求索。

组 稿

校融媒体中心

文 字

殷梦昊 邓晗

图 片

李婉菲

编 辑

郑艺

责 编

殷梦昊

推荐阅读



放弃百万年薪,他想在复旦做一件更难的事



不止于顶刊,31岁复旦副教授的“破格”人生



天上多了颗以复旦人命名的小行星!

▼更多复旦新闻,敬请留意复旦大学官方网站。

原标题:《90后复旦博导,在玩具堆里搞科研》

本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com