两家大型公司投资了一家3D生成大型公司|WAVES

01-30 10:39

文|施嘉翔


编辑|刘旌


2023年10月,影眸科技创始人吴迪在一轮融资被drop之后,花了半年时间,几乎把所有的精力都投入其中。


来不及多想,影眼科技自成立以来首次对大规模人员进行了调整。吴迪想快速筹集一小笔钱来保证企业的运营,但环境太低了,不能再降低了。融资失败坚定了他们扩大全品类3D资产产生能力的想法。


当时市场上已有团队推出了基于2D升维技术路径的3D生成商品,这是学术界的主要路径。


但是他们看到了 2D 提升路径的瓶颈:只能记录真实物体的一侧,无限多角度的图像也不能完全描述3D内容。


唯一的解决办法是,从一开始就使用。 3D 原生数据。差点孤注一掷,就连原本负责电影项目的团队艺术家也被抽调去做模型标记。3D引擎基于CLAY。 Rodin于去年6月推出,CLAY是影眸与上科大联合推出的3D原生Diffusion。 这项研究使他们获得了SIGGRAPH2024最佳论文荣誉提名,Transformer生成大模型。


45 天后,Rodin 达成 100 万美金 ARR,吴迪说,这也是他们后来受到大厂青睐的主要原因。


暗涌Waves了解到,影眼科技完成了新一轮数千万美元的A轮融资。本轮融资由美团龙珠、字节跳动、红杉中国老股东种子基金、奇绩创坛等领先投资。


过去,影视总是被贴上“学生创业”的标签,甚至核心成员还在实验室读研究生和博士。然而,经过四年的时间,CTO张启邈表示,“小天才”逐渐把商业化和商品可用性放在第一位。


吴迪还记得,当他第一次进入科技大学时,学校仍然是一个建筑工地。他甚至不知道这个建筑工地是否真的会成为效果图上的现代校园。然而,他并不在乎刚高考完的时候,这个几乎完全空白的乐谱对她来说更有吸引力,而不是墨守成规地读完书,出国深造,回国进入大厂。


「WAVES」这是一个暗流的新频道。在这里,我们将向您展示新一代企业家、投资者的故事和精神。


以下是影眸科技创始人吴迪和首席执行官张启邈对过去创业历史的回顾,其中也有对3D跑道未来的理解,通过暗涌Waves编辑:


谈论创业:一个选择


1. 影眸的出现始于实验室的一个难题:如何将人和事放入虚拟世界。为了实现这一目标,我们在2020年推出了第一套人脸扫描系统,可以在不同的环境光照下收集人脸的表现,从而在新的光照下产生人脸的显示效果。


2.但是这种技术在实际应用中不断碰壁。在《漂泊地球2》中,我们曾进入变脸项目,但最终没能成功合作。原因在于,第一代穹顶光场注重光照,是拼奏者在光照下的展示效果,而摄像机的角度是固定的, 模型不能移动。最后只能在特定的角度使用,比如完全静态的镜头。光场也只能收集几何数据,无法识别材料,对人脸褶皱等动态信息无能为力。


3.当时我才意识到,学术界研究行业想要的东西差距很大。工业界需要走线优雅、UV整齐、渲染、表情调节、游戏中即时驱动的3D建模。在等待新一代穹顶光场更新的过程中,我们想根据生成网络技术做一些尝试。


4.当时影眸做了两个产品,其中一个叫Wand。这个APP很简单,就是用户在画布上简单勾勒出来,Wand就会生成真人头像。只花了两个星期就开发了产品。在没有任何波澜的情况下,第一代真人头像将生成结果从真人变成了二次元图像。结果Wand登上了App。 在Store图形和设计类排行榜上排名第一,超过160万注册用户在Wand上“画二次元妻子”。


5.但是Wand只是一个简单的工具,用户没有保留。我们没有想到一个好的收费模式,无法平衡用户和计算费用。接下来,我们不应该学习技术,扩展更多的功能,或者做一个二次元社区。但是我们不相信2D技术,8个全理工团队也找不到一个擅长社区运营的。最后,我们无法接受这波流量,切断了所有的2D业务线。


6.回头看,Wand 它已经完成了它的历史使命,帮助我们赚到了第一笔钱。虽然只有6000元,但更重要的是帮助我们完成了天使轮融资。我们仍然相信下一代显示设备和交互技术将在三维层面进行。


谈论方向选择和3D产生的未来:摆动和决心


7.获得融资后,元宇宙淬火,我们通过数字人和元宇宙的东风获得了第二笔融资。当时我们的想法是,现有的数字人最终会变成ID型数字人,这对于每个想要进入虚拟世界的人来说都是必要的。因此,DreamFace和基于此框架的3D角色生成器ChatAvatar于2022年底推出,至少可以做成配角级和骨骼绑定模型。


8.然而,我们进入体育场的时机已经赶上了元宇宙的尾声,商业化进展并不顺利,举步维艰。那一年毕业后,我把办公室搬出了科技大学实验室,赶上了疫情,封城,白交了半年的房租。


9.到了2023年,我已经谈了6个月的新一轮融资,结果投资者选择了一夜之间放弃。我很困惑。本来想先融资一两百万,活下去,但是环境太低了,不能再down了。我让财务部每周给我看两次账户上的余额,盯着现金流,勉强维持收入和支出。当时我才意识到,在有了新的计划之前,我的眼睛是不可能融入金钱的。


10.在此之前,我们已经将广泛的生成式3D提上过程,但是同时也面临着一个关键的技术选择。3D 生成的技术路线大致可分为两类:2D 升维和原生 3D。通过海量2D,前者 图像训练生成,但是因为数据集中在3D 在这个世界上,模型“双头”问题总是存在的。首先利用这一技术路径生产产品,也许可以快速获得一笔融资,但是产品离“Production-Ready"会有不可弥补的差距。而且3D原生的技术路径能否做出来,我们也不知道。


11.最后,我们一致认为,如果我们需要与3D行业竞争,我们只能使用原生3D的训练方法。这种方法的难点往往被称为优质数据不足。但事实上,3D生成的瓶颈不在于模型的数据量,而在于合适的3D表达和参数规模。关键是信息损失要尽可能小,从数据转换到最终导出。


12.Rodin于去年6月推出,是同批3D生成创业公司中最迟推出的。在我看来,它的生成质量和可用性在当时代表差异化方面领先于同类产品。Rodin于2024年最后一天发布。 Gen-1.5,弥补了3D在尖锐边缘生成能力的坑。正确 CAD 类工业模型和硬表面模型,具有很大的优势。



3D模型


13.但即便如此,AI生成模型离最终直接使用还有很长的路要走。与视频、图像等领域不同的是,3D是工业内容,不是消费级,这意味着有一定的行业标准。在拓扑、几何精度、材料、UV等问题尚未解决的情况下,AI生成3D与直接可用于游戏和电影有很大差距。


14.另外,在3D世界中处理普通用户的创造力并不意味着3D消费时代即将到来,这需要很多前提——比如让Vision。 Pro、Quest 3和IPhone一样受欢迎。以前元宇宙爆红,也更多的是B端玩家在自嗨。 在提高效率的游戏行业,3D生成远不如Midjourney。在实验室之前,我们认为技术等于商品等于企业,但实际上技术不等于产品,也不等于企业。


15.Rodin不可能生成游戏或电影的工业3D作品。也许3D生成会作为未来游戏和影视作品中的核心玩法出现,但3D生成会。 目前原生技术的机遇在于存量市场。


16. 所以影眸这次把商业化看作是“游戏外包” :在游戏建模阶段,从原画到建模结束,有一系列“废稿”估计要修几次。现在原画的三个视图结束后,建模稿可以先用Rodin生成,具体细节由建模师调整,在建模初期或浏览阶段节约成本,或者应用于一些周边不重要的资产。


17.刚上科大的时候,学校是一个建筑工地,实验室是新建的。我们几乎见证了从废墟到高层建筑的整个过程。在一定程度上,上海科技大学从无到有,正如我们的导师所说,这也是一次“杰出的创业”。影眼科技这四年是这次“创业”的注脚。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com