GaussianEditor

[CVPR 2024]高斯主教：迅速可控制的3D編輯，高斯分裂

Yiwen Chen ^*1,2 ，Zilong Chen ^*3 ，Chi Zhang ² ，Feng Wang ³ ，Xiaofeng Yang ² ，
Yikai Wang ³ ，Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*}同等的貢獻。 ^**通訊作者。
¹ S-LAB，Nanyang Technological University，
²南洋技術大學計算機科學與工程學院，
³ Tsinghua University計算機科學技術系， ⁴ Sensetime Research，

演示視頻

僅需2-7分鐘即可迅速可控制的3D編輯。

add.a.teddy.bear.on.bench.mp4

turn.him.into.a.clown.mp4

delete.mp4

發布

• [12/5] Docker支持。非常感謝Jhuangbu。對於Windows，您可以嘗試本指南和本指南。
• [11/29]釋放分割置信度得分量表。現在，您可以擴展語義跟踪面具的閾值。
• [11/27]我們發布了高斯主編程：Swift and -Control -Control -3D編輯，使用高斯分裂和beta版的Gaussianedwebui Webui。

內容

• 演示視頻
• 發布
• 內容
• 安裝
• Webui指南
• 如何取得更好的結果
• 命令行
• 托多
• 常問問題

安裝

我們的環境已在Ubuntu 22，CUDA 11.8上進行了測試，其中3090，A5000和A6000。

1. 克隆我們的倉庫並創建Conda環境

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. （可選）安裝我們的叉子訪客[WebUI要求）

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. （可選）下載Wonder3D檢查點[添加要求]

sh download_wonder3d.sh

Webui指南

請注意，我們的WebUI目前正在Beta版本中。在Viser提供支持的情況下，即使您僅限於遠程服務器，也可以使用我們的WebUI。有關詳細信息，請遵循WebUI指南。

如何取得更好的結果

對3D編輯的需求非常多樣化。例如，如果您只想更改紋理和材料或顯著修改幾何形狀，那麼很明顯，一定大小的所有超級參數將無法正常工作。因此，我們無法提供在所有情況下有效工作的默認超參數設置。因此，如果您的結果不符合期望，請參閱我們的高參數調整文檔。在其中，我們詳細介紹了每個高參數的功能，並建議在遇到特定問題時要調整哪些參數。

命令行

我們還提供了高斯編碼器的命令行版本。像Webui一樣，您需要指定通知的高斯和Colmap輸出的路徑。請在sciprt文件夾中檢查腳本。只需更改data.source即可到達您的Colmap輸出目錄和system.gs_source到預驗證的高斯人並運行我們的演示腳本。

托多

存儲庫仍在建設中，感謝您的耐心配合。

• 高參數調整教程。
• WebUI的分步教程。
• 實現的WebUI Beta版本和高斯編輯器。

常問問題

• 編輯不良結果。我們正在使用ConstressPix2Pix來生成編輯的2D圖像作為編輯指南。不幸的是，DendertPix2Pix僅在有限的提示下工作，如果您不確定文本提示是否有效，請首先嘗試。
• 添加不良結果。我們使用ControlNet Inpainting首先生成2D塗漆，然後將其轉移到3D中。此外，它在不良提示方面行不通。請嘗試擴大您的介入面膜並嘗試更多種子。
• 細分結果不好。嘗試縮放分段閾值，這會改變分割的置信度評分。
• DPT缺少權重。請閱讀此問題

致謝

我們的代碼基於這些出色的存儲庫：

• 高斯碎片
• Wonder3D
• 三位一體
• Viser
• triventnerf2nerf
• consendpix2pix
• 控製網