影眸技术吴迪:3D生成是「空间智能」最后一块拼图,36氪采访。

2025-01-15

作者|耿宸斐


编辑|宋婉心


封面来源|公司供图


前不久,3D大模型公司影眸科技完成了数千万美元的A轮融资。本轮融资由美团龙珠、字节跳动领先,老股东红杉中国种子基金、奇绩创坛继续投资,灯源资本担任独家财务顾问。


影眼科技创始人吴迪表示,本轮融资将主要用于影眼科技在3D大模型前沿的探索,加快Hyper3D系列产品在全球市场的商业化,以3D生成大模型Rodin为核心。


2024年,资本和市场对AI的关注迅速从技术前沿转变为商业收入。据了解,影眼科技推出的大模型Rodin仅上线45天,年收入频繁。(ARR)已经超过100万美元,成为当前AI创业公司中不可多得的经典商业案例。



Rodin的快速增长反映了3D生成市场的巨大潜力,特别是随着新兴应用场景的快速发展,如元宇宙、虚拟现实和智能,3D内容的需求正在爆发。


游戏与娱乐、影视与动画、建筑与房地产等相关行业数据。(AEC)、制造和产品设计,电力设计,⼦TAM在商务和虚拟展示的3D建模外包市场总规模高达149-335亿美元。


然而,基于几何建模的传统手工3D模型不仅费时费力,而且技术门槛高,极大地限制了3D内容生产的效率和规模。在这种背景下,生成AI工具被认为是提高3D生成效率、降低3D内容创作门槛的关键。


但问题是,虽然AIGC的热潮已经席卷全球,但目前我们熟悉的大多数主流AIGC工具仍然集中在2D内容的形成上,如图像和视频,属于3D生成。ChatGPT“时间还没有真正到来。


造成这种情况的原因是,受技术限制,3D大模型的形成质量瓶颈尚未真正突破。


与图像、视频等方式相比,生产级3D内容需要满足更复杂、更严格的标准。除了生成速度和质量之外,还需要考虑3D网格结构和拓扑质量、UV图形结构和线条清晰度。


吴迪直言,虽然3D生成的质量已经上升到了一个新的高度,但目前的3D生成在材料可用性、拓扑结构、UV进行等方面还不能满足实际应用的需要。这些技术上的不足已经成为3D生成行业的关键问题。


在这种背景下,3D生成技术在全球范围内的迭代正在加速。去年,影眼团队与上海科技大学合作提出的“可控3D原生DiT生成框架CLAY”和“3D服装生成框架DressCode”显著提高了3D生成的质量,被视为新一代3D生成的基本框架。


同时,一批AI生成3D商品在国内外已经集中爆发。


Meta在国外推出文生3D模型Meta 3D Gen,可以在一秒钟内生成3D材料;谷歌发布了基本的世界模型Genie2,生成一个3D环境,可以用于人类或AI智能体的控制动作和乐趣;英伟达发布了Edify 3D,支持直接从文本提醒或图像中生成4K级3D实体和场景。


在中国,除了影眸技术,AI已经上线。 3D模型生成商品Rodin,腾讯还发布了Hunyuan3D-1.0的3D生成开源模型,可以同时支持文字、图像转换3D资产,最早在10秒内完成端到端的生成。


可以说,全球3D大模型玩家都在暗中竞争,默默使力,Yellow从a16z下注。、Kaedim、BackFlip,到达李飞飞的World Labs,AI 技术迭代的3D产生正在加速接近质变的临界点。


但从行业层面来看,目前3D生成辐射的用户群仍然集中在游戏、视频制作、电子商务、工业设计等B端领域,C端市场的渗透率相对较低。


在与36Kr的对话中,吴迪分析了这一现象,称3D资产现阶段不能通过社交媒体快速分享和传播,这与视频、图像和音乐不同。


特别是在目前以二维为主的设备环境下,普通用户对3D资产的需求还不成熟,消费模式有限。这种情况极大地影响了C端市场3D生成技术的普及和推广。


“但随着3D打印、AR、VR等消费商品的不断发展和普及,3D生成有望在C端市场迎来爆发式增长。”在吴迪看来,随着技术的成熟,3D生成肯定可以应用到越来越多的领域,甚至成为普通用户日常创作和分享的一部分,比如文字、图像和视频。



正是基于对商业化的洞察,影眸在R&D阶段就以落地为目标,比如公司专注的“生产准备就绪”(Production-Ready)”标准。


本标准是指产生的3D模型可以直接适应后期管道的生产,进入实际生产过程,同时将用户的兴趣转化为真正的生产工具,产生实际的商业价值。


吴迪说:“在更遥远的未来,当元宇宙、机器人成为生活的一部分时,3D生成一定会迎来真正的爆发。


近日,36氪与影眸科技创始人吴迪进行了对话,下面是采访精编:


36氪:作为一家大学孵化的公司,影眸的商业化进展很多都是基于学术研发,能不能简单介绍一下?


吴迪:影眸孵化于上海科技大学,从2016年开始在3D建模领域进行研发。在2024年,我们有两篇文章获得了SIGGRAPH最佳论文荣誉提名,并获得了SIGGRAPH最佳论文荣誉提名。 Real-time Live!,这是中国大陆队50年来首次入选这个项目。


36氪:Rodin为什么能在45天内达到100w美元ARR?


吴迪:主要得益于市场的精确定位和产品实力。在R&D和产品研发的过程中,我们始终把“Production- Ready“作为R&D的核心指标,我们要做的是R&D可以直接使用的技术。而且在R&D的过程中,我们对比了所有的技术路线,选择了当时并不看好的“3D原生”路线,而不是当时更受关注的“2D升维”技术路线,也就是从这个模型的练习、监督、生成中进行。尽管这使得我们的产品发布比同行晚了半年,但也使我们产品的生成效果在当时的行业中达到了代差级的领先地位。


36氪:在技术路径上,影眼并没有跟随大多数人选择2D升维的技术路线,而是选择了3D原生。这背后的考虑是什么?


吴迪:2D升级3D的路径是当年业界普遍认可的,也是最常用的,因为从多视角获取2D图像的3D信息更符合大家的直觉。同时,人们普遍认为3D资产不足,需要用2D资产来弥补。但是,当我们第一次接触目标客户时,我们发现他们不仅需要能够生成3D模型,更重要的是,这种3D模型的可用性要足够好。


当时,根据我们在图形学领域多年的研究经验,我们意识到,当3D数据被压缩到2D时,无论从多少角度来看,物体3D结构中的每一个细节都无法完全表达出来,这将使2D升级到3D的路径难以达到客户的使用标准。同时,3D原生产品可以保留更多的信息,产生更高的质量上限。


假如当时选择了2D升维这条路,我们也许很快就能推出商品,但是最后还是没有这样做,Rodin Gen-1比别人晚半年左右。


36氪:但实际上许多企业都会担心自己的产品发布落后于同行,在做出这样的选择时不会有顾虑吗?


吴迪:这确实是一个“敢为天下后”的决定,但当时我们几乎没有犹豫,因为我们坚信只有3D原生技术路径才能达到更贴近商业的标准,我们在里面称之为“Production- Ready",这也是影眸开发和开发产品的核心标准。要达到“Production- Ready",除建立模型外,对3D表达、拓扑、UV进行、材料等方面还有更多的要求。Rodin Gen-虽然比其他商品发出的要晚,但它是最早超过“可用性”基准线的3D大型商品。即便我们现在这一代的模型已经提高了质量上限,它仍然与真正能够访问的过程相去甚远。


36氪:这一差距主要表现在哪里?


吴迪:因为在一些情况下,比如游戏中使用一个模型,他会有非常严格的要求,比如拓扑结构、UV等一些绝对的细节,即使我们做得很好,还是会有距离的。客户在使用时仍然需要修改甚至重新制作。


36氪:公司的收入分配如何?


吴迪:我们70%的收入来自海外,在美国、欧洲、日本和韩国都有业务布局,其中欧美占比相对较大,约占50%。例如,一个来自德国的用户调用我们的API制造了一个非常吸引人的产品,甚至超过了50万美元的ARR。


36氪:影眸的关键客户群是什么?


吴迪:目前,它仍然专注于泛娱乐和新的消费模式,如游戏、视频制作和电子商务。然而,3D生成也在不断扩大使用边界,如3D打印、智能和工业设计,这些都是我们未来目标的核心用户群体。


36氪:有没有具体的案例可以说一下?


吴迪:以我们与竹子的合作为例。事实上,我们之间的合作是竹子根据我们的技术开发产品,然后向客户开放产品。在竹子的官方printmo项目中,客户只需要上传一张图片,AI就可以将其转化为宠物精灵的风格,然后我们的技术完成3D生成,然后用户的3D打印机打印成实体。这也是我们在3D打印领域的第一次尝试。


36氪:这些顾客的需求对影眸的技术迭代有什么影响?


吴迪:影眸几乎所有技术层面的迭代都围绕着顾客的需求。比如游戏、视频制作等领域需要的模型都是拓扑整洁合理、UV利用率高的模型,我们接下来的技术研发会朝着这个目标前进。但是,当我们跨越工业设计等领域时,需求是完全不同的。因此,从最长远的角度来看,我们希望找到一种统一世界的3D表达方式,可以适应不同的场景,可以很好地转换和适应各种需求下的3D模型。


Rodin于2024年底最新推出。 Gen-1.5版本的模型,通过新一代3D原始表达的升级,全面解决了行业内长期存在的薄面和边缘锐度问题,使得生成模型具有更锐利、更直的边缘。这种需求在游戏中非常重要,尤其是在产品设计领域。这种升级也再次扩大了我们产品的领先地位。


36氪:影眸如何看待3D产生的未来发展?


吴迪:未来3D生成还有很大的发掘空间。AR//VR/虚拟世界中的个人创作需要释放用户的3D内容创作能力。作为一个建立在3D空间中的世界,未来机器对世界的理解必须基于3D。3D生成将实现空间智能的最重要组成部分。


注意获取更多信息


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com