ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

数据空间研究中心是中国科学技术大学网络空间安全学院布局建设的创新型科研平台。中心于 2021 年 9 月 20 日正式揭牌成立，由吴曼青院士领衔、中青年教师t X – H d z为骨干，聚焦从3 i 3 2 ] ( o 5数据到网络空间（from data to cyberspace），以I ; 0 0数据重构网络空间为使命，瞄准网络空间T ] h J 9 \ n、智能感知、大数a t s q 2 Z p J i据等领域的前沿问题，探索打造一支结构合理、优势互补的科技力量，服务国家重大需求。

来自U ^ e G t ` ?中国科学技术大学数据空间研究中心、香港科技大学、香港理工大学以及奥胡斯大学的研究者们提出一种新的场景生成方法 DreamScene，只需要提供场景的文本就可以生成高质量，视角一致和可编辑的 3D 场景。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

项目主页：https://dreamscene-project.githubH S + 7 k 4 b.) N O 8 M tio/
论文地址：ht. B Ztps://arxiv.org/abs/2404t e H 9 J ` ^ J n.03575
代I ) N –码开源：https://github.com/Dret \ / yamScG w Vene-Project/DreamScene

关键问题

基于蒸馏的文本生成 3D 方法通常采用预训练的 2D 文本到图像模型如 Stable Diffusion 作为先验，通过朝向物体中心的相机渲染优化生成物体的可微分 3D 表示。而文本生成 3p s _D] 9 o 场景方法需要从预定义的相机位置向外渲染，以生成这些有限视角的场景。

目前的文本生成 3D 场景方法（如下图所示）面临几个关键挑战，包括：

低效的生成过程，常导致低质量的生成和P 9 W f H ^ . E较长的生成时间。
不一致的 3D 场景视角，仅在有限视角下有o i q 0 h A : ( p着良好的渲染结果。
无法将物体与环境分离，无法对单个物体进行灵活编辑。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

技术方案

DreamScene 主要由形成模式采样（Formation Pattern Sampling）和? n k |相机_ – /采样 (Camera SampM 7 u * I ! 3ling) 两部分组成，其中形成模式采样根据 3D 模型生成的规律由多时间步采样（Mult; y ! 2 r H d Ji-timestep Sampling）、3D 高斯过滤（3f J Y j / R ` y ~D Gaussian Filtering）以及重建式生成（Reconstructiv( . * Ke Ga # ^ X # n 5eneration）三种操作组成；

相机采样通过三阶段的策略逐步生成 3D 环境，保证场景全局的1 ` a Q视角一致性。总体的算法流程如图所示，DreamScene 首先利用大语言模型（LLM）根据文本描述（prompt）分离出场景中的物体描述和环境描述。首先8 = r (生成场景中的单个物体，DreamScene 利用 Point-E 得到相应的初始化点云，之后使用形成模式采样方法y % A生成对应文本的 3D 表示；再将生成的物体根据布局放置在对应的位置上；最后对四周环境进行生% & `成，DreamScene 将室内场景初始化为长方体，将室外场景初始化为半球体，通过三阶段优化，逐步优化远处[ ( L E / ` 6环境，近处地面和整体的场景。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

形成模式采样（Formation Pattern Sampling）主要使用多时1 A * [ V h w间步采样（Multi-timestep Sampling），多时间步采样每次迭代过程中混合了多个e ^ s 2D 扩散模型时间步长提供的指导信息，而这些时间步长通\ T y ~ T T N . 8过在一个线性递减的滑动窗口上进行分层抽样得到，这种优化策略不仅保证了在优化过程中对 3D 内容的形状约束，同时可以丰富语义信息。

此外，生成的过量 3D 高斯会阻碍优化过程，H h R Y 8因此 DreamScene 使用 3D 高斯H : H过滤（3D Gaussian FilteW G 8 q B jring）在优化过程W i 8 l O ` q中过滤掉冗余的 3D 高斯，保留距离渲染平面较近且体积较大的 3D 高斯。在优化的后期阶段，使用较小步长 t 的信息可以提供一致但是精细纹理的信息，所以 Dre7 ; % z c 2 ; CamScene 使用重建式生成（Reconstructive Generatioa s r Un）方法来加速生成 3D 内容的合理表面纹理。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

对于场景中的环境，DreamScene 使用一个渐进式的三阶段相机采样（Camera Samplin| E Q X o ag）策略优化环境生成。在相机采样的第一阶段，DreamScene 在场景中心的一定范围内进行相机位姿X + W T ~ L i z a采样以生成周围环境（室内的墙壁、室外远处环境）的粗略表示（MTS 指导优化）；在第二阶段，DreamScene 通过采样一些特定区域的相机位姿来生成粗糙的地面，并且会尽可能保证地面与周围环境接触部分的连贯性；在第三阶段，DreamScene 使用在前两阶段中所有的相机位姿来优化所有的的环境元素（MTS 指导优化），之后使用 3D 重建的方法以获得更合y ` X U z u X F理的纹理和细节。! v = ) B

实验评估

对比试验R G . N ; + & A T 下图展示了 DreamScene 场景生成的定性对比实验，上半部分图像采用生成时出现的相机位姿渲染的，下图是在场景中随机选择的相机位姿渲染的。我们可以看到，Text2Room 和 Text2NeRF 只能在生成过程中遇到的相机位姿下生成令人满意的结果，Dreaml { 9 /Scene 实现了最佳的 3D 一致性，同时有着很高的生成质量。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

下+ 8 W – F = 6 2图展示了形成模式采样h n Y / C K k 3可以在短时间内根据文本提示生成高质量的 3D 表示，DreamGa} ] 7 Z 2 j M kussian 的速度更快但生成质量太低。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

作者计算了环境生成阶段的生成时间。如下表的左侧显示，具有编辑功能的环境生成方法中 DreamScene 的时间最短，右侧显示了, ] I . Q J ~ – =用户研究，其中 DreamScene 在一致性和合理性方面明$ , n 9显优于其他 SOTA 方法，生成质量最高。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

一致性 如下图所示 Dp K X g } y F mreamScene 的生2 [ 5 m : } T成结果在较高生成质量的同时，保证了较好的 3D 一致性。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

编辑性 DreamScene 可以添加或删除对象或者通过调整对象的仿射变量的_ V Z [ 3 w值来重新设计其在场景中的位置。在进行这些编辑时，用户需要在物体的原始位置和新位置重新采样相机姿势，重新优化地面和周围方向。此外，用户还可以改变文本提示来改变场景中的环境或对象的样式。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

消融实验在 “A DSLR photo of Iro= – ! * X x M Fn Man” 提示下，经过 30 分钟优化后的C k ] U s H T结果。如下图所示，与 DreamTime 和 DreamFusion 中提到的分数蒸馏采样 (A O 6 {SDS) 相比，多时间步采样形成了更好的几何结构和纹理。形成模式6 h z ( J采样是在多时间步采样+ ` h ` / t R M ^的基础上建立起来的，采用重建式生成的方% e e o @ p N法来创建更加合理的纹理结构，在指导 3D 内容优化方面十分具有优越性。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

总结

本文介绍了一种新颖的文本到 3D 场景生成策略 DreamScene。通过生成模式采样和相机采样策略，将物体和环境整合在一起，解决了目前文本到 3D 场景生成方法中存在的低效、# M 0 u J 6 B _ }不一致和可编辑性有U S j I I I / z限等问题。广泛的实验证明，DreamScene 是三维场景生成领域的一/ o ! ] s项里程碑式成就，在众多领域，如游戏、影视和房屋设计中有着巨大的应用潜力。

ECCV 2024 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

以上就是ECCV 2024 | 新梦幻场景生成方5 # x a s I x法，高质量、视角一致、P ` & G ( [可编辑3D场景的详细内容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/117762.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。