让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改

“纵有疾风来，人生不言弃”，这句话送给正在学习科技周边的朋友们，也希望在阅读本文《让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新科技周边相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。

近年来，3D编辑领域的研究重点普遍集中在神经辐射场（NeRF）上。这是因为NeRF不仅可以高度真实地进行3D场景建模，而且其隐式特性极大地提升了可扩展性，相较于传统的点云和网格等方法，具有显著优势。然而，NeRF依赖于高维多层感知网络（MLP）对场景数据进行编码，这也带来了一定的限制。它难以直接修改场景的特定部分，并且增加了图像修复和场景组合等任务的复杂性。这种复杂性不仅影响了训练过程，也限制了其在实际应用中的使用

GaussianEditor 为了解决上述问题，另辟蹊径，选择了高斯溅射（Gaussian Splatting）作为其 3D 表示。Gaussian Splatting 是半年前提出的一种新型 3D 表示，该表示已经在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就引发了 3D 领域广泛的关注，是今年 3D 领域最大的突破之一。Gaussian Splatting 表示具有极好的前景和潜力， GaussianEditor 更是首个实现了对这种 3D 表示完成编辑的工作。该项目已开源，并提供了 WebUI 界面，便于学习和使用。

• 论文地址：https://arxiv.org/abs/2311.14521
• 主页地址：https://buaacyw.github.io/gaussian-editor/

尽管高斯喷洒（Gaussian Splatting）具有高效的渲染算法，但其作为显示表示的编辑存在不小的挑战。一个主要问题是缺乏有效的方法来准确识别编辑目标，这对于精确可控的编辑至关重要。此外，已有研究表明，使用高度随机的生成指导（例如 Stable Diffusion 等生成扩散模型）来优化高斯喷洒（GS）会遇到重大挑战。这可能是因为GS直接受到损失中随机性的影响，与神经网络缓冲的隐式表示不同。这种直接暴露导致更新不稳定，训练过程中高斯点的属性直接改变。此外，GS的每个训练步骤可能涉及大量高斯点的更新，而这一过程没有神经网络风格的缓冲机制。这些问题会导致GS的过度流动性阻碍了其在训练中向隐式表示那样的精细结果收敛

为了解决上述问题，团队首先引入了高斯语义追踪来完成对 Gaussian Splatting（GS）的精确控制。高斯语义追踪在训练过程中始终能够识别出需要编辑的高斯点。这与传统的 3D 编辑方法不同，后者通常依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会逐渐失效。高斯语义追踪则是通过将 2D 分割掩码投影到 3D 高斯点上并为每个高斯点分配语义标签来实现训练全程的追踪。随着训练过程中高斯点的变化，这些语义标签使得能够追踪到特定的目标高斯点。高斯语义追踪算法能确保只有目标区域被修改，从而实现精确和可控的编辑。

下图中红色区域为被追踪的目标区域，语义追踪的区域会随着训练过程动态更新来确保其有效性。

此外，为了应对高斯溅射（Gaussian Splatting，GS）在高度随机生成的情况下难以实现精细结果的重大挑战，GaussinEditor采用了一种新的GS表示方式：层次化高斯溅射（Hierarchical Gaussian Splatting，HGS）。在HGS中，高斯点根据它们在训练过程中的稠密化顺序被组织成不同的世代。较早的稠密化过程中形成的高斯点被视为较老的世代，它们受到更严格的约束，目的是保持它们的原始状态，减少它们的流动性。相反，后期阶段形成的高斯点被视为较年轻的世代，受到较少或没有约束，以提高其适应性。HGS的设计有效地调节了GS的流动性，通过对较老的世代施加限制同时保持了较新世代的灵活性。这种方法使得持续优化朝向更好的结果成为可能，模拟了通过神经网络实现的隐式表示中的缓冲功能

GaussianEditor 在此基础上提出了高斯溅射表示的增、删算法。在删除目标方面，该团队开发了一种专门的局部修复算法，能有效地消除了对象与场景交界处的伪影。在添加目标方面，GaussianEditor 能根据用户提供一个的文本提示和 2D 掩码来为指定区域添加指定目标。GaussianEditor 先借助 2D 图像 Inpainting 算法生成要添加的对象的单视图图像。然后，通过 Image to 3D 的算法将该图像转换成一个 3D GS。最后将该目标并入到高斯场景中。

在对比实验中，GaussianEditor在视觉质量、量化指标、可控性和生成速度方面都显著超过了之前的工作

团队还通过消融实验验证了他们提出的高斯语义追踪和层次化高斯表示的有效性

GaussianEditor 作为一种先进的 3D 编辑算法，重点在于灵活和快速地编辑 3D 场景，并首次实现了对高斯溅射的编辑。

该算法的关键特点包括：

1. Gaussian 语义追踪：它能在训练过程中持续识别需要编辑的高斯点，确保只有目标区域被编辑。 
2. 层次化 Gaussian Splatting（HGS）：这是一种新的 GS 表示方式，通过在不同训练阶段形成的高斯点之间建立层次结构，以有效管理 GS 场景的流动性，并模拟隐式表示中神经网络的缓冲功能。
3. 3D 场景的增加和删除算法：GaussianEditor 专为 GS 开发设计了 3D 场景的增删算法，能够高效地从场景中移除或添加特定对象。

到这里，我们也就讲完了《让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于数据,训练的知识点！