奥多码,点击查看详情 97CDN云盾,点击查看详情

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

       
广告2021-06-03到期2021-07-03广告2021-06-03到期2021-07-03
       
广告2021-06-03到期2021-07-03广告2021-06-03到期2021-07-03
5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源
AIxiv 专栏是本站发布学术、技术内容的栏目。过去数年,本站 AIxiv 专栏接收报道了 2000 多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀p R o 2的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
是否还在苦恼于开源图生 / 文生三维模型无法直接嵌入到 CG 工作流中?是否在寻找具备高质I j N , w Y x _ u量几何与物理材质的三维生成大模型?
最近,上海人工智能实验室(Shanghai AI Lab)南洋理工大学(NTU)共同推出了新一代的三维生成大模型 3DTo% o z H { wpia-XL,能够从图片或文字单阶段直出具有 PBR(物理渲染)材质的高质量三维数字资产。v M ! ~ ` j 7
5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源
在技术细节上,通过采用全新的三维表征 PrimX 以及基于 DiT 的生成架构,具有 10 亿规模参数的 3DTopia-X| ( 3 9 \ N + QL 能够在5 秒内完成% H n } @从图像或文本生成具有物理材质属性的超写实三维模型,生成结果作为 GLB 格式的三维资产可以无缝导入到主流游戏引擎和工业b D T ^设计软件的管线^ ; + & o中服务于下游应用。

5秒内快速生成、直出工业级pbr资产,三维扩散模型3dtopia-xl开源

3DTopia-XL 已将代码、预训练模型和技术报告开源,并且近期还会持续更新其他模态S e M作为输入的预训练模型。
  • 代码链接:https://github.com/3DTopia/3DTopia-XL
  • 在线 Demo:https://huggingface.c+ 3 4 v = e No/spaces/FrozenBurning/3DTopia-XL
  • 技术报告:hte 2 ` R v J A atps://arxiv.org/abs/2409.12957
  • 论文标题:3DTopia-XL: ScalW ? { King High-quality 3D Asset Generati; + / son via Primx D S \ 7 h iitiW | + h H 1 L ove Diffusion
在项& ~ o @ v HN ( ^ t | Y B .开源的这几天,广大网友也是第一时间h e K / o W @涌入官方提供的在线 Demo,| . m 9 Q h上传自己的图片进行试p 0 l q l 9 z玩。其中 Huggingface 的产品设计总监 Victor 更是第一时间就进行了尝试E T 5 !,他随意上传了一张图片给P ^ | 1 f D ! K Z 3DTopia-XL,模型经过处理返回给他了一个高质量的三维模型,同时还是带材质的那种!他也将试玩录屏上传到 X 上分享给广大网友:

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

小编也尝试了一下在线 demo,比如输入一张橘子做的小象的创意图片,生成的三维物体几何质量很高,同e ; t I J 2 @ 1时右下角的交互视窗能够支持更换不同环境光照图来渲染输出的 GLB 格式资产:

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

技术概览
通过深扒技术报告,小编发现 3DTopia-XL 的核心技术是一种被称为 PrimX 的全新三c i b [ d n i维表征,弥补了三维数据没有高效张量化表征Z b 9 + y \ = g u的空白,从而实现对最具可扩展性的扩散模型框架 DiT 的支持。
具体而言,3DTopia-XL 采用的是一种创新的三维扩散大模型直出技术,可实现超写实工业级三维资产的秒级生成。3DTopia-XL 采用 PrimX 作为一种符号距离场的高效几何表征方式,将三维物体表征为若干个 Primitive 的集合。每个 Primitive 仅在形状边界邻域内s A ! B对局部几何、纹理和材质进行联合建模,从而将一个三维资产的所有信息(几何、纹理、材质)表示为若干个固定长度的 token,完成了三维数据的高质量结构化。
这样的方法不仅大幅减少了表示三维物体所需的参数P $ ; O ! I v ?量,提高了参数r d e t p F利用效率,而且还便于 DiT 基模型的规模扩展。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

在基模型层面,为g p 1 ? T p了实现高质量的三维生成能力,3DTopia-X, + ) – ) c 0 hL 提出了一个包含 10 亿参数且计算高效的三维扩散模型。其中 PrimX 作为将三维物体高效地转化为基于符号距离场的表达,会进一步通过变分自O ! 5 C o ]编码器对每个体积基元进行压缩编码。3 I g通过 DiT 架构的引入,使得模型能够在隐空间中进行大规模可扩展的训练(Latent Primi! K F @ f J utive Diffusion),从而实现通过单张图像输入生成三维物体的通用能力。
得益于符号距离场的良好性质,3DTopia-XL 生成的三维内容具备光滑的表面、精细的结P f % 3构以及良好的拓扑,接近手Q @ E } 1 .工建模质量。通过 DDIM 采样策略,3DTopia-XL 可以实现 5s 内完成去噪过程。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

实验结果

定量对比上,3DTopia-XL 在三维生成标准评测指标超越现有的开源模型,CLIP score 上取得 24.33,超越 ShapE(21.98),也高于 3DTopia 第一版的 22.54,展现p p +出了三维内容创作方面的巨大潜力。

同时,作者从四个维度(整体质量、几何平滑度、输入相关/ J ? Q ) z d , e度和渲染正确性)对于图生三维模型输出的数字资产在工业管线中进行了用户评测(如下图所示),3D-Topia-XL 在各维度上均超越了 InstantMesh、LGM、CRM 等基于重建的主流方法。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

定性对比上,作者对比了主流的基于重建的方法(标红)以及原生三维扩散模型(l F g标黄),并在对比策略上采用直接将 mesh 导入v ? ` c 8 d R渲染引擎进行对应环境下的渲染,来r u I O验证三维生成模型的实际可用性。如下图所示,得益于 3DTo_ i &pia-XL 的高质量几何以及材质建模,其展示出的渲染效果和生成质量都超过= – 0 h一系列基线方法。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

同时作者还验证了三维生成模型上的尺度定律(Scaling Law),增加训练计算量和增大模型尺寸都会带来生成性能的进一步提升(以 FID 下降为趋势特征)。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

得益于 PrimX 表征的通用性,使得模型能够同时编码几何h V | U D W t o A、纹理及材质,完成一站式三维生成引擎可用的数字资产,摆脱了多L & ^ , U阶段独立建模的繁琐步骤。我们发现,3DTopia-XL 生成的数字资产可以直接导入 Blender,UE 等图形引擎在任意环境下进行渲染。其高质量 PBR 建模使得生成的数字资产展示出高质量反光效果,实现了与环境的无缝融合。

5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源

除了图生三维模型以外,3DTopia-XL 还会在不` { 6久的未来提供多模态输入支持,包括文生三维模型和多视) 4 x g [ q @角重建模型,为三维内容创作提供d Q b \ 1 x N了全面的解决方案套装。

以上就是5秒内快速生成、直出工业级PBs Y \ 2R资产,三维扩散模型3DTopia-XL开源的详细内容!

本文由【好易之】整理自网络!
原创文章,作者:【好易之】如转载请注明出处:https://www.zhengjiaxi.com/zxwd/itzx/117683.html
如有侵权,请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途,否则后果请用户自负。
本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。
如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。
(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
好易之的头像好易之站长
上一篇 2024-12-25 12:49
下一篇 2024-12-25 12:49

相关推荐

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询:点击这里给我发消息

 

工作时间:周一至周五,9:30-18:30,节假日休息

关注公众号
请查看头部文章来源地址!本站所有内容均为互联网收集整理和网友上传。仅限于学习研究,切勿用于商业用途。否则由此引发的法律纠纷及连带责任本站概不承担。