GaussianEditor

[CVPR 2024]高斯主教：迅速可控制的3D编辑，高斯分裂

Yiwen Chen ^*1,2 ，Zilong Chen ^*3 ，Chi Zhang ² ，Feng Wang ³ ，Xiaofeng Yang ² ，
Yikai Wang ³ ，Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*}同等的贡献。 ^**通讯作者。
¹ S-LAB，Nanyang Technological University，
²南洋技术大学计算机科学与工程学院，
³ Tsinghua University计算机科学技术系， ⁴ Sensetime Research，

演示视频

仅需2-7分钟即可迅速可控制的3D编辑。

add.a.teddy.bear.on.bench.mp4

turn.him.into.a.clown.mp4

delete.mp4

发布

• [12/5] Docker支持。非常感谢Jhuangbu。对于Windows，您可以尝试本指南和本指南。
• [11/29]释放分割置信度得分量表。现在，您可以扩展语义跟踪面具的阈值。
• [11/27]我们发布了高斯主编程：Swift and -Control -Control -3D编辑，使用高斯分裂和beta版的Gaussianedwebui Webui。

内容

• 演示视频
• 发布
• 内容
• 安装
• Webui指南
• 如何取得更好的结果
• 命令行
• 托多
• 常问问题

安装

我们的环境已在Ubuntu 22，CUDA 11.8上进行了测试，其中3090，A5000和A6000。

1. 克隆我们的仓库并创建Conda环境

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. （可选）安装我们的叉子访客[WebUI要求）

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. （可选）下载Wonder3D检查点[添加要求]

sh download_wonder3d.sh

Webui指南

请注意，我们的WebUI目前正在Beta版本中。在Viser提供支持的情况下，即使您仅限于远程服务器，也可以使用我们的WebUI。有关详细信息，请遵循WebUI指南。

如何取得更好的结果

对3D编辑的需求非常多样化。例如，如果您只想更改纹理和材料或显着修改几何形状，那么很明显，一定大小的所有超级参数将无法正常工作。因此，我们无法提供在所有情况下有效工作的默认超参数设置。因此，如果您的结果不符合期望，请参阅我们的高参数调整文档。在其中，我们详细介绍了每个高参数的功能，并建议在遇到特定问题时要调整哪些参数。

命令行

我们还提供了高斯编码器的命令行版本。像Webui一样，您需要指定通知的高斯和Colmap输出的路径。请在sciprt文件夹中检查脚本。只需更改data.source即可到达您的Colmap输出目录和system.gs_source到预验证的高斯人并运行我们的演示脚本。

托多

存储库仍在建设中，感谢您的耐心配合。

• 高参数调整教程。
• WebUI的分步教程。
• 实现的WebUI Beta版本和高斯编辑器。

常问问题

• 编辑不良结果。我们正在使用ConstressPix2Pix来生成编辑的2D图像作为编辑指南。不幸的是，DendertPix2Pix仅在有限的提示下工作，如果您不确定文本提示是否有效，请首先尝试。
• 添加不良结果。我们使用ControlNet Inpainting首先生成2D涂漆，然后将其转移到3D中。此外，它在不良提示方面行不通。请尝试扩大您的介入面膜并尝试更多种子。
• 细分结果不好。尝试缩放分段阈值，这会改变分割的置信度评分。
• DPT缺少权重。请阅读此问题

致谢

我们的代码基于这些出色的存储库：

• 高斯碎片
• Wonder3D
• 三位一体
• Viser
• triventnerf2nerf
• consendpix2pix
• 控制网