腾讯开源最强3D生成模式,消费级显卡可以运行。

06-15 06:34

就在刚刚的 CVPR 上,鹅厂 3D 生成模型混元 3D 2.1 开源正式宣布!


能紧跟潮流,细腻地展现当红炸鸡鸡 Labubu。


还可以走复古路线,生成纹路精美的铜器。


总而言之,与前一代相比 2.0,混元 3D 2.1 其主要内容是几何和纹理的双重提升。


特别是在纹路贴面上有较大的提升,可以达到当前的开源 3D 模型中的 SOTA。


例如,这种金属材质的葡萄型装饰,2.1 与之前 2.0 纹理与光泽的对比十分明显:


而且混元 3D 2.1 所有的练习代码,模型权重,数据处理过程都是开源的,支持一键部署,开发者也可以自主调整。


根据腾讯的说法,这是第一个全链路开源的工业级。 3D 生成大型模型,并达到闭源级水平,同时还可以适应消费级显卡。


主要推动几何和纹路双优化


如上所述,混元 3D 2.1 其主要内容是几何和纹理的双重提升。


在形状上,几何决定了模型的精度,线条恢复了模型表面的颜色、光泽和细节表现。


混元 3D 2.1 可以生成不同数据的地图,如基本颜色、金属度、粗糙度等。,同时还支持皮革、木材、金属、陶瓷等各种复杂材料的高品质渲染。


举例来说,这组青瓷制成的小船,可以看到右边 2.1 该版产生的结果光泽更好,底座纹理更细腻,釉面上青花图案分布更合理。


对相同的物体,组合不同的材料可以显示出不同的效果,例如下面的金属虎和玉雕虎,都是生动的。


也可以在同一个模型中呈现出不同的质感。比如在这组“吹号角的和尚”中,不仅可以看到脸上的皱纹更加清晰,还可以看到号角的金属感更强。


衣着没有过多的反光,衣着的图案也更加清晰,甚至手中杯子里的水也显得更加自然。


模型的细节和图案的复杂程度,也可以精致到手工等级。


技术层面,混元 3D 2.0 在此基础上,混元 3D 2.1 模型进一步加强了“几何” - 纹理解耦“架构”。


基于 DiT 几何结构,混元 3D 2.1 改进细节建模,使网格精度更高,形态一致性更好,以便更好地进行后续线条映射。


与此同时,混元也在 3D 引入开源模型 PBR(基于物理渲染)纹路生成技术。与传统相比 RGB 贴图技术,PBR 提高模型在不同光照环境下的视觉一致性,通过模拟光源与材料的物理交互。


相较于 TexGen 其它模型,如混元, 3D 以前的 2.0 新版混元,新版混元 3D 该模型的材料还原能力均达到最佳水平。


混元是客户盲测中的一种 3D 2.1 的 PBR 纹路相较于 RGB 贴图,纹理获胜率高达 78%。


此外,PBR 材料的标准化特性也使其适应主流渲染引擎(例如 Unreal Engine、Unity),在其它平台上更容易复用。


所有模型代码数据都开源。


混元 3D 2.1 为模型权重、训练代码和数据处理过程提供全链路开源,开发者可随意进行微调、二次训练或升级。


配置方面,混元 3D 2.1 适用于消费级显卡,并提供详细的部署和使用教程,开发者可以轻松上手。


2024 年 11 月份,腾讯混元发布并开源首代。 3D 生成模型至今,今年 1 月,混元 3D 2.0 主流模型超越了文本一致性和几何精度。


现在的 2.1 版本,进一步完善 3D 模型的质感,让 AI 产生的 3D 这个模型离“真实”又近了一步。


就像腾讯混元一样 3D 负责人郭春超说:


混元 3D 2.1 全面开源是一次新的征程,期待与全球开发者、创作者和研究者携手共创更加繁荣的征程。 3D 开源生态。


另外,这个星期天(6 月 15 日)中午 11 还会有一个叫“玩混元”的游戏。 3D 2.1 “直播,有兴趣的话可以去腾讯混元视频号看看。 ~


项目地址:https://3d-models.hunyuan.tencent.com/


感受地址:https://3d.hunyuan.tencent.com



� � 量子位 AI 主题策划正在征集中!欢迎来到特别的话题365 行 AI 落地方案,一千零一个 AI 应,或者和我们分享你的存在寻找的 AI 商品,或发现的AI 新动向


� � 还欢迎您加入量子位每日 AI 交流群,一起来畅聊 AI 吧~


一键关注 � � 点亮星标


每天见科技前沿进展


一键三连「点赞」「分享」「小心心」


请在评论区留下您的想法!


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com