GaussianEditor

[CVPR 2024] Gauß an

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*} Gleicher Beitrag. ^** Korrespondierender Autor.
¹ S-Lab, Nanyang Technological University,
² School für Informatik und Ingenieurwesen, Nanyang Technological University,
³ Abteilung für Informatik und Technologie, Tsinghua University, ⁴ Sensetime Research,

Demo -Videos

Schnelle und kontrollierbare 3D-Bearbeitung mit nur 2-7 Minuten.

Add.a.teddy.bear.on.bench.mp4

Turn.him.into.a.clown.mp4

Delete.mp4

Freigeben

• [12/5] Docker -Unterstützung. Toll danke an Jhuangbu. Für Windows können Sie diesen Leitfaden und diese Anleitung ausprobieren.
• [11/29] Segmentierungsvertrauens Score Scaler. Sie können jetzt den Schwellenwert semantischer Verfolgungmasken skalieren.
• [11/27] Wir haben Gaußsianeditor veröffentlicht: Swift und kontrollierbare 3D -Bearbeitung mit Gaußschen Splatting und Beta -Version von Gaußsianediting Webui.

Inhalt

• Demo -Videos
• Freigeben
• Inhalt
• Installation
• Webui -Handbuch
• Wie man ein besseres Ergebnis erzielt
• Befehlszeile
• Todo
• FAQ

Installation

Unsere Umgebung wurde mit 3090, A5000 und A6000 an Ubuntu 22, CUDA 11,8 getestet.

1. Klonen Sie unser Repo und schaffen Sie die Konda -Umgebung

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Optional) Installieren Sie unseren Gabelviser [von Webui gefordert).

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Optional) Download Wonder3D -Kontrollpunkte [erforderlich durch Add ]

sh download_wonder3d.sh

Webui -Handbuch

Bitte beachten Sie, dass sich unser Webui derzeit in einer Beta -Version befindet. Mit Viser können Sie unsere Webui verwenden, auch wenn Sie auf Remote -Server beschränkt sind. Für Details folgen Sie dem Webui -Handbuch.

Wie man ein besseres Ergebnis erzielt

Die Nachfrage nach 3D -Bearbeitung ist sehr vielfältig. Wenn Sie beispielsweise nur Texturen und Materialien ändern oder die Geometrie erheblich ändern möchten, ist klar, dass ein einheitlicher Hyperparameter nicht funktioniert. Daher können wir keine Standard -Hyperparameter -Einstellung bereitstellen, die in allen Szenarien effektiv funktioniert. Wenn Ihre Ergebnisse nicht die Erwartungen entsprechen, finden Sie in unserem Hyperparameter -Tuning -Dokument. Darin detaillieren wir die Funktion jedes Hyperparameters und beraten, welche Parameter anpassen sollen, wenn Sie auf bestimmte Probleme stoßen.

Befehlszeile

Wir bieten auch eine Befehlszeilenversion von Gaußsianeditor. Wie Webui müssen Sie Ihren Weg zu den vorbereiteten Gaußschen und Colmap -Ausgängen wie hier erwähnt angeben. Bitte überprüfen Sie Skripte im sciprt -Ordner. Ändern Sie einfach data.source Halten Sie sich auf Ihr Colmap -Ausgangsverzeichnis und Ihr system.gs_source auf.

Todo

Das Repo befindet sich noch im Bau, danke für Ihre Geduld.

• Tutorial für Hyperparameter -Stimmen.
• Schritt-für-Schritt-Tutorial für Webui.
• Realisierte Webui Beta -Version und Gaußsianeditor.

FAQ

• Schlechtes Ergebnis für die Bearbeitung . Wir verwenden InstructPix2Pix, um bearbeitete 2D -Bilder als Bearbeitungsanleitung zu generieren. Leider funktioniert unterrichtetpix2pix nur mit begrenzten Eingabeaufforderungen. Versuchen Sie es hier zunächst, wenn Sie nicht sicher sind, ob Ihr Textaufforderungen funktioniert.
• Schlechtes Ergebnis für Add . Wir verwenden ControlNET-In-Painting, um zuerst 2D-Inpainting zu generieren und dann in 3D zu übertragen. Außerdem funktioniert es nicht für schlechte Aufforderungen. Bitte versuchen Sie, Ihre Inpaintmaske zu vergrößern und mehr Samen auszuprobieren.
• Schlechtes Ergebnis für die Segmentierung . Versuchen Sie, den Segmentierungsschwellenwert zu skalieren, der den Konfidence -Score für die Segmentierung verändert.
• Fehlende Gewichte für DPT. Bitte lesen Sie dieses Problem

Anerkennung

Unser Code basiert auf diesen wunderbaren Repos:

• Gaußscher Splating
• Wonder3d
• Threestudio
• Viser
• Instructnerf2nerf
• InstructPix2Pix
• ControlNet