GaussianEditor

[CVPR 2024] GAUSSIANEDITOR: Edição 3D Swift and Controlable com Gaussian Splatting

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ HUAPING Liu ³ Guosheng Lin ^{** 1,2
*} Igual contribuição. ^** Autor correspondente.
¹ S-Lab, Universidade Tecnológica de Nanyang,
² Escola de Ciência da Computação e Engenharia, Universidade Tecnológica Nanyang,
³ Departamento de Ciência e Tecnologia da Computação, Universidade Tsinghua, ⁴ SenseTime Research,

Vídeos de demonstração

Edição 3D rápida e controlável com apenas 2-7 minutos.

Add.a.teddy.bear.on.bench.mp4

Turn.him.into.a.clown.mp4

Delete.mp4

Liberar

• [12/5] Suporte do Docker. Muito obrigado a Jhuangbu. Para o Windows, você pode experimentar este guia e este guia.
• [11/29] Scaler de pontuação de confiança da segmentação de liberação. Agora você pode escalar o limiar das máscaras de rastreamento semânticas.
• [11/27] Lançamos GaussianEditor: edição 3D Swift and Controlable com Splating Gaussian e versão beta do Webui de Gaussianediting.

Conteúdo

• Vídeos de demonstração
• Liberar
• Conteúdo
• Instalação
• Guia Webui
• Como alcançar um melhor resultado
• Linha de comando
• PENDÊNCIA
• Perguntas frequentes

Instalação

Nosso ambiente foi testado no Ubuntu 22, CUDA 11.8 com 3090, A5000 e A6000.

1. Clone nosso repositório e crie o ambiente de conda

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Opcional) Instale nosso Viser bifurcado [exigido pela Webui)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Opcional) Download Wonder3D Ponto de verificação [exigido por add ]

sh download_wonder3d.sh

Guia Webui

Esteja ciente de que nosso webui está atualmente em uma versão beta. Alimentado pelo Viser, você pode usar nosso webui mesmo se estiver limitado ao servidor remoto. Para detalhes, siga o guia da Webui.

Como alcançar um melhor resultado

A demanda por edição 3D é muito diversa. Por exemplo, se você deseja alterar apenas texturas e materiais ou modificar significativamente a geometria, fica claro que um hiperparâmetro de tamanho único não funcionará. Portanto, não podemos fornecer uma configuração de hiperparâmetro padrão que funcione efetivamente em todos os cenários. Portanto, se seus resultados não atenderem às expectativas, consulte o nosso documento de ajuste de hiperparâmetro. Nele, detalhamos a função de cada hiperparâmetro e aconselhamos sobre quais parâmetros ajustarem quando você encontrar problemas específicos.

Linha de comando

Também fornecemos uma versão da linha de comando do GaussianEditor. Como o Webui, você precisa especificar seu caminho para as saídas gaussianas e colmap, como mencionado aqui. Por favor, verifique os scripts na pasta sciprt . Basta alterar data.source para o seu diretório de saída do Colmap e system.gs_source para seus gaussianos pré -treinados e executar nossos scripts de demonstração.

PENDÊNCIA

O repositório ainda está em construção, obrigado por sua paciência.

• Tutorial para ajuste de hiperparâmetro.
• Tutorial passo a passo para Webui.
• Versão beta da Webui realizada e GaussianEditor.

Perguntas frequentes

• Resultado ruim para edição . Estamos usando o InstructPix2Pix para gerar imagens 2D editadas como orientação de edição. Infelizmente, o InstructPix2PIX funciona apenas em avisos limitados, tente primeiro aqui se você não tiver certeza se o seu texto solicita funcionar.
• Resultado ruim para add . Utilizamos o ControlNet Painting para gerar primeiro 2D em pintura e depois transferi-lo para 3D. Também não funciona para avisos ruins. Tente ampliar sua máscara de pintura e tente mais sementes.
• Resultado ruim para segmentação . Tente escalar o limite de segmentação, que altera a pontuação de confiança para a segmentação.
• Pesos ausentes para DPT. Por favor, leia esta edição

Reconhecimento

Nosso código é baseado nesses maravilhosos repositórios:

• Splating gaussiano
• Maravilha3d
• Threestudio
• Visador
• Instructnerf2nerf
• Instructpix2pix
• Controlnet