GaussianEditor

[CVPR 2024] GaussianEditor: edición 3D rápida y controlable con Splatting Gaussian

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*} Contribución igual. ^** Autor correspondiente.
¹ S-Lab, Nanyang Technological University,
² Escuela de Informática e Ingeniería, Nanyang Technological University,
³ Departamento de Informática y Tecnología, Universidad de Tsinghua, ⁴ Investigación en Sensretime,

Videos de demostración

Edición 3D rápida y controlable con solo 2-7 minutos.

Add.a.teddy.bear.on.bench.mp4

Turn.him.into.a.clown.mp4

Eliminar.mp4

Liberar

• [12/5] Soporte de Docker. Genial gracias a Jhuangbu. Para Windows, puede probar esta guía y esta guía.
• [29/11] Segmentation de liberación Escaler de puntaje de confianza. Ahora puede escalar el umbral de máscaras de rastreo semántico.
• [27/11] Lanzamos GaussianEditor: edición 3D Swift y controlable con Splatting Gaussian y versión beta de Gaussianediting Webui.

Contenido

• Videos de demostración
• Liberar
• Contenido
• Instalación
• Guía de Webui
• Cómo lograr un mejor resultado
• Línea de comando
• HACER
• Preguntas frecuentes

Instalación

Nuestro entorno ha sido probado en Ubuntu 22, Cuda 11.8 con 3090, A5000 y A6000.

1. Clonar nuestro repositorio y crear un entorno de condimentista

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Opcional) Instale nuestro visor bifurcado [requerido por WebUI)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Opcional) Descargue los puntos de control Wonder3D [requerido por ADD ]

sh download_wonder3d.sh

Guía de Webui

Tenga en cuenta que nuestra webui se encuentra actualmente en una versión beta. Impulsado por Viser, puede usar nuestro WebUI incluso si está limitado al servidor remoto. Para más detalles, siga la Guía de WebUI.

Cómo lograr un mejor resultado

La demanda de edición 3D es muy diversa. Por ejemplo, si solo desea cambiar texturas y materiales o modificar significativamente la geometría, está claro que un hiperparámetro único para todos no funcionará. Por lo tanto, no podemos proporcionar una configuración de hiperparameter predeterminada que funcione de manera efectiva en todos los escenarios. Por lo tanto, si sus resultados no cumplen con las expectativas, consulte nuestro documento de ajuste de hiperparameter. En él, detallamos la función de cada hiperparámetro y avisamos sobre qué parámetros ajustar cuando se encuentra con problemas específicos.

Línea de comando

También proporcionamos una versión de línea de comando de GaussianEditor. Al igual que WebUI, debe especificar su camino a las salidas de gaussianas y colmap preventadas como se menciona aquí. Verifique los scripts en la carpeta sciprt . Simplemente cambie data.source a su directorio y system.gs_source de salida COLMAP.

HACER

El repositorio todavía está en construcción, gracias por su paciencia.

• Tutorial para la sintonización de hiperparameter.
• Tutorial paso a paso para Webui.
• Realización de la versión Beta de Webui y GaussianEditor.

Preguntas frecuentes

• Mal resultado para editar . Estamos utilizando InstructPix2Pix para generar imágenes 2D editadas como guía de edición. Desafortunadamente, InstructPix2Pix solo funciona en indicaciones limitadas, primero intente aquí si no está seguro de si su texto funciona funcionan.
• Mal resultado para agregar . Utilizamos el control de control de control para generar primero la entrada 2D y luego transferirla al 3D. Además, no funciona para malas indicaciones. Intente ampliar su máscara de entrada e intente más semillas.
• Mal resultado para la segmentación . Intente escalar el umbral de segmentación, que cambia el puntaje de confianza para la segmentación.
• Pesos faltantes para DPT. Lea este problema

Reconocimiento

Nuestro código se basa en estos maravillosos Repos:

• Splatting gaussiano
• Wonder3d
• Treestudio
• Visador
• Instructnerf2nerf
• Instructpix2pix
• Control de control