GaussianEditor

[CVPR 2024] GaussianEditor: Édition 3D Swift et contrôlable avec des éclaboussures gaussiennes

Yiwen Chen ^{* 1,2} , Zilong Chen ^{* 3} , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*} Contribution égale. ^** Auteur correspondant.
¹ S-Lab, Nanyang Technological University,
² École d'informatique et d'ingénierie, Nanyang Technological University,
³ Département d'informatique et de technologie, Université de Tsinghua, ⁴ SenseTime Research,

Vidéos de démonstration

Édition 3D rapide et contrôlable avec seulement 2 à 7 minutes.

Add.a.teddy.bear.on.bench.mp4

Turn.Him.into.a.clown.mp4

Supprimer.mp4

Libérer

• [12/5] Support Docker. Super merci à Jhuangbu. Pour Windows, vous pouvez essayer ce guide et ce guide.
• [11/29] Libérez Scalin Score de la segmentation. Vous pouvez désormais escalader le seuil des masques de traçage sémantique.
• [11/27] Nous avons publié GaussianEditor: Édition 3D Swift et contrôlable avec des éclaboussures gaussiennes et une version bêta de WEBUI Gaussian.

Contenu

• Vidéos de démonstration
• Libérer
• Contenu
• Installation
• Guide WebUI
• Comment atteindre de meilleurs résultats
• Ligne de commande
• FAIRE
• FAQ

Installation

Notre environnement a été testé sur Ubuntu 22, CUDA 11.8 avec 3090, A5000 et A6000.

1. Cloner notre répension et créer un environnement conda

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Facultatif) Installez notre visière fourchue [requise par webui)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Facultatif) Télécharger les points de contrôle Wonder3D [requis par ADD ]

sh download_wonder3d.sh

Guide WebUI

Veuillez noter que notre webui est actuellement dans une version bêta. Propulsé par Visor, vous pouvez utiliser notre WebUI même si vous êtes limité au serveur distant. Pour plus de détails, veuillez suivre le guide Webui.

Comment atteindre de meilleurs résultats

La demande d'édition 3D est très diversifiée. Par exemple, si vous voulez seulement changer les textures et les matériaux ou modifier considérablement la géométrie, il est clair qu'un hyperparamètre unique ne fonctionnera pas. Par conséquent, nous ne pouvons pas fournir un paramètre d'hyperparamètre par défaut qui fonctionne efficacement dans tous les scénarios. Par conséquent, si vos résultats ne répondent pas aux attentes, veuillez vous référer à notre document de réglage hyperparamètre. Dans ce document, nous détaillons la fonction de chaque hyperparamètre et conseillons les paramètres à ajuster lorsque vous rencontrez des problèmes spécifiques.

Ligne de commande

Nous fournissons également une version de ligne de commande de GaussianEditor. Comme WebUi, vous devez spécifier votre chemin vers les Gaussiens et les sorties COLMAP pré-entraînés comme mentionné ici. Veuillez vérifier les scripts dans le dossier sciprt . Modifiez simplement data.source en votre répertoire de sortie ColMap et system.gs_source à vos Gaussiens pré-entraînés et exécutez nos scripts de démonstration.

FAIRE

Le repo est toujours en construction, merci pour votre patience.

• Tutoriel pour le réglage de l'hyperparamètre.
• Tutoriel étape par étape pour webui.
• Réalisé la version bêta Webui et GaussianEditor.

FAQ

• Mauvais résultat pour l'édition . Nous utilisons InstructPix2Pix pour générer des images 2D modifiées comme guidage d'édition. Malheureusement, InstructPix2Pix ne fonctionne que sur des invites limitées, veuillez d'abord essayer ici si vous n'êtes pas sûr de savoir si vos invites de texte fonctionnent.
• Mauvais résultat pour ajouter . Nous utilisons une intrassement ControlNet pour générer d'abord une intervention 2D, puis la transférer en 3D. Cela ne fonctionne pas non plus pour de mauvaises invites. Veuillez essayer d'agrandir votre masque d'intérêt et d'essayer plus de graines.
• Mauvais résultat pour la segmentation . Essayez à l'échelle du seuil de segmentation, ce qui modifie le score de confiance pour la segmentation.
• Poids manquants pour DPT. Veuillez lire ce numéro

Reconnaissance

Notre code est basé sur ces merveilleux dépositions:

• Splatting gaussien
• Wonder3d
• Trois
• Visionneuse
• Instructnerf2nerf
• Instructpix2pix
• Contrôle