GaussianEditor

[CVPR 2024] GaussianEditor: Pengeditan 3D yang cepat dan terkontrol dengan Gaussian Splatting

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*} Kontribusi yang sama. ^** Penulis yang sesuai.
¹ S-Lab, Universitas Teknologi Nanyang,
² Sekolah Ilmu Komputer dan Teknik, Universitas Teknologi Nanyang,
³ Departemen Ilmu dan Teknologi Komputer, Universitas Tsinghua, ⁴ Penelitian Sensetime,

Video demo

Pengeditan 3D yang cepat dan terkendali dengan hanya 2-7 menit.

Add.a.teddy.bear.on.bench.mp4

Turn.him.into.a.clown.mp4

Delete.mp4

Melepaskan

• [12/5] Dukungan Docker. Terima kasih yang bagus untuk Jhuangbu. Untuk Windows, Anda dapat mencoba panduan ini dan panduan ini.
• [11/29] Rilis Segmentasi Skor Skor Keyakinan. Anda sekarang dapat skala ambang batas penelusuran semantik.
• [11/27] Kami merilis GaussianEditor: SWIFT dan Editing 3D yang dapat dikendalikan dengan Gaussian Splatting dan versi beta WebUi Gaussianediting.

Isi

• Video demo
• Melepaskan
• Isi
• Instalasi
• Panduan WebUI
• Bagaimana mencapai hasil yang lebih baik
• Baris perintah
• Todo
• FAQ

Instalasi

Lingkungan kami telah diuji pada Ubuntu 22, CUDA 11.8 dengan 3090, A5000 dan A6000.

1. Klone repo kami dan buat lingkungan conda

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Opsional) Instal forked viser kami [diperlukan oleh webui)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Opsional) Unduh Wonder3D Checkpoints [Diperlukan oleh Add ]

sh download_wonder3d.sh

Panduan WebUI

Perlu diketahui bahwa WebUI kami saat ini berada dalam versi beta. Didukung oleh Viser, Anda dapat menggunakan webUI kami bahkan jika Anda terbatas pada server jarak jauh. Untuk detailnya, silakan ikuti panduan WebUI.

Bagaimana mencapai hasil yang lebih baik

Permintaan pengeditan 3D sangat beragam. Misalnya, jika Anda hanya ingin mengubah tekstur dan bahan atau secara signifikan memodifikasi geometri, jelas bahwa hiperparameter satu ukuran untuk semua tidak akan berfungsi. Oleh karena itu, kami tidak dapat memberikan pengaturan hiperparameter default yang bekerja secara efektif dalam semua skenario. Karena itu, jika hasil Anda tidak memenuhi harapan, silakan merujuk ke dokumen tuning hyperparameter kami. Di dalamnya, kami merinci fungsi setiap hiperparameter dan memberi nasihat tentang parameter mana yang harus disesuaikan saat Anda menghadapi masalah tertentu.

Baris perintah

Kami juga menyediakan versi baris perintah GaussianEditor. Seperti WebUI, Anda perlu menentukan jalur Anda ke output Gaussians dan Colmap pretrained seperti yang disebutkan di sini. Silakan periksa skrip di folder sciprt . Cukup ubah data.source ke Direktori Output Colmap Anda dan system.gs_source ke Gaussians pretrained Anda dan menjalankan skrip demo kami.

Todo

Repo masih sedang dibangun, terima kasih atas kesabaran Anda.

• Tutorial untuk penyetelan hiperparameter.
• Tutorial langkah demi langkah untuk WebUI.
• Versi Beta Webui dan GaussianEditor.

FAQ

• Hasil yang buruk untuk edit . Kami menggunakan Instrukturpix2pix untuk menghasilkan gambar 2D yang diedit sebagai panduan pengeditan. Sayangnya, Instrypix2pix hanya berfungsi pada petunjuk terbatas, silakan coba terlebih dahulu di sini jika Anda tidak yakin apakah permintaan teks Anda berfungsi.
• Hasil yang buruk untuk ADD . Kami menggunakan controlNet-inpainting untuk terlebih dahulu menghasilkan inpaining 2D dan kemudian mentransfernya ke 3D. Juga tidak berfungsi untuk petunjuk yang buruk. Silakan cobalah untuk memperbesar masker inpainting Anda dan coba lebih banyak benih.
• Hasil buruk untuk segmentasi . Coba skala ambang segmentasi, yang mengubah skor kepercayaan diri untuk segmentasi.
• Bobot yang hilang untuk DPT. Harap baca masalah ini

Pengakuan

Kode kami didasarkan pada repo yang luar biasa ini:

• Gaussian Splatting
• Wonder3d
• Threestudio
• Viser
• Instructnerf2nerf
• Instrukturpix2pix
• ControlNet