让鲁迅说绕口令,赫本玩嘻哈,又一个视频模型火了,斯坦福华人博士成立。

2024-06-17

AI视频领域卷疯了。


Luma导致的狂欢还没有结束,AI视频圈又来了一个挑战者。——


Proteus由斯坦福大学团队制作。


据介绍,Proteus 这是一个低延迟的基本模型,能够产生高度真实而富有感染力的人物形象。


例如,让世界名画中的主角——蒙娜丽莎或一个戴着珍珠耳环的女孩——肆无忌惮地笑,面部情绪自然流畅:


让奥黛丽·赫本改变以往淑女的形象,玩嘻哈说唱:


也让斯内普教授在《哈利·波特》中演唱。《Despacito》:


Proteus刚刚发布,一群大佬发来了。「贺信」:


AI科学家贾扬清称赞,即时人工智能头像质量非常好。


Jim,英伟达科学家 Fan说,这个项目令人印象深刻。


Brian早期投资者Brian 根据Zhan的消息,目前AI视频工具,如Runway和Pika,最大的问题是会产生幻觉,尤其是在生成包含人类的视频时。而且Apparate 通过处理时间连接和对象恒定等问题,Labs将AI视频生成进入下一阶段。


离谱!鲁迅谈到了绕口令


Proteus是人类实时表情生成的新一代基本模型。


要知道,即使是目前最先进、最强大的生成模式,也无法完全实现人类表情的实时生成。


目前模型运行缓慢,无法直观控制生成人物复杂的面部情绪和身体动作,在逼真性和感染力方面仍有所欠缺。


而且Proteus使用了最先进的transformer 随着架构和算法的不断优化,Proteus可以实现每秒100帧以上(100帧),其突破性的潜在空间设计保证了即时的高效率。 FPS)的视频流。


也就是说,Proteus只需要一张简单的照片,不仅可以模仿人类的笑声、说唱、唱歌、眨眼、微笑和对话,还可以执行更生动的表情和动作。


比方说,一向认真的鲁迅谈到了绕口令:


或让居里夫人清唱《Le Festin》:


或者给科学家开一个圆桌会议:


根据ProteusR&D部门的说法,他们希望Proteus能够成为一种声音可控的视觉化身,为人工智能对话实体提供一个直观的交互界面,同时能够与众多模态大语言模型无缝适应,为各种使用场景提供定制服务。


对于这一点,很多网友脑洞大开。——


「只要用爱因斯坦的数据微调大语言模型,再加上他生动的面部情绪,伟大的爱因斯坦就可以成为教学助手,亲自教物理课。从现在开始,青少年不用担心学不好科学。」


也有网友表示,我爱死它,今年无疑是AI视频的时候。


团队背后的底部


这个模型被大佬力捧,小而美, 后面是一个怎样的团队?


根据官网的说法,这是斯坦福大学的Apparate。 开发了Labs。


现在这个团队只有6个人,从名字和照片来看,有3个人是中国人。


沈博魁,CEO兼创始人(William Shen)斯坦福大学计算机科学系博士学位,著名教授Silvioo Savarese和Leonidas J. Guibas共同指导。



他的研究包括计算机视觉、机器人学、图形学、生成模型和具体智能在内的许多领域。他的论文获得了许多奖项,例如IEEE-CVPR获得了最佳论文奖,并在RSS上获得了最佳学生论文奖的决赛。


在此之前,他还以优异的GPA4.0获得了斯坦福大学计算机科学学士学位。


Connor首席技术官兼创始人 Lin也是一个学霸。


本硕就读于卡内基·梅隆大学,从Keenanana学习。 Crane教授。去斯坦福大学读计算机博士,2020年。现在他是一名四年级的博士生,由Leonidasi。 Guibas和Gordon 两位教授共同指导了Wetzstein。


Connor Lin的研究侧重于3D先验知识和神经表达,用于3D重建、生成和编辑,并获得了Davidid。 支持Cheriton斯坦福研究生奖学金。


他在谷歌研究、英伟达研究和Adobe实习期间攻读博士学位。此前,谷歌还担任软件工程师,负责Pixel手机的人像模式开发。


另外,这个小哥哥兴趣广泛,喜欢旅游和运动,喜欢烹饪、网球、游泳、桌游和音乐,也是泰勒·斯威夫特的铁杆粉丝。


还有Connor 和Lin一样,首席科学家Linqin (Alex) 在斯坦福大学,Zhou也是一名博士生,由Stefanoo。 教授Ermon指导。


此前,Linqi 在加州大学洛杉矶分校,Zhou获得了计算机科学与应用数学学士学位,由Song获得-Chun Ying教授和Zhu-Nian 指导Wu教授。


在计算机视觉和机器学习领域,他主要研究它,并致力于构建一个能以结构化、概率化的方式理解世界模型。


参考链接:


https://apparate.ai/stream.html


本文来自微信微信官方账号“机器之心”(ID:作者:关注AI大模型,36氪经授权发布,almosthuman2014)。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com