GaussianEditor

[CVPR 2024] Gaussianeditor: Swift и контролируемое 3D -редактирование с гауссовым сплеском

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Goosheng Lin ^{** 1,2
*} Равный вклад. ^** Автор -корреспондент.
¹ S-Lab, Nanyang Technological University,
² Школа компьютерных наук и инженерии, Наньянский технологический университет,
³ Департамент компьютерных наук и техники, Университет Цинхуа, ⁴ Sensetime Research,

Демо -видео

Свифт и управляемое 3D редактирование всего 2-7 минут.

Add.a.teddy.bear.on.bench.mp4

Turn.him.into.a.clown.mp4

Delete.mp4

Выпускать

• [12/5] Поддержка Docker. Отличное спасибо Jhuangbu. Для Windows вы можете попробовать это руководство и это руководство.
• [11/29] Выпуск сегментации Scaler Scaler. Теперь вы можете масштабировать порог масок семантического трассировки.
• [11/27] Мы выпустили Gaussianeditor: Swift и контролируемое 3D -редактирование с гауссовым расщеплением и бета -версией GaussianEditing Webui.

Содержимое

• Демо -видео
• Выпускать
• Содержимое
• Установка
• Руководство WebUI
• Как добиться лучшего результата
• Командная строка
• Тодо
• Часто задаваемые вопросы

Установка

Наша среда была протестирована на Ubuntu 22, Cuda 11,8 с 3090, A5000 и A6000.

1. Клонировать наш репо и создать среду Conda

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (Необязательно) Установите наш визир [требуется Webui)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (Необязательно) Скачать контрольные точки Wonder3d [Требуется Add ]

sh download_wonder3d.sh

Руководство WebUI

Имейте в виду, что наш Webui в настоящее время находится в бета -версии. Работая с Viser, вы можете использовать наш WebUI, даже если вы ограничены удаленным сервером. Для получения подробной информации, пожалуйста, следуйте руководству WebUI.

Как добиться лучшего результата

Спрос на редактирование 3D очень разнообразно. Например, если вы хотите изменить текстуры и материалы или значительно изменить геометрию, ясно, что одноразмерный гиперпараметт не будет работать. Поэтому мы не можем предоставить настройку гиперпараметра по умолчанию, которая работает эффективно во всех сценариях. Поэтому, если ваши результаты не соответствуют ожиданиям, пожалуйста, обратитесь к нашему документу с настройкой гиперпараметрий. В нем мы подробно описываем функцию каждого гиперпараметра и рекомендуем, какие параметры корректируются, когда вы сталкиваетесь с конкретными проблемами.

Командная строка

Мы также предоставляем командную версию Gaussianeditor. Как и Webui, вам необходимо указать свой путь к выходам гауссов и Colmap, как упомянуто здесь. Пожалуйста, проверьте сценарии в папке sciprt . Просто измените data.source в свой каталог вывода Colmap и system.gs_source на ваши предварительно проведенные гауссоны и запустите наши демонстрационные сценарии.

Тодо

Репо все еще строится, спасибо за терпение.

• Учебное пособие для настройки гиперпараметрических.
• Пошаговый учебник для Webui.
• Реализованная бета -версия Webui и Gaussianeditor.

Часто задаваемые вопросы

• Плохой результат для редактирования . Мы используем instructpix2pix для генерации отредактированных 2D -изображений в качестве руководства по редактированию. К сожалению, InstructPix2Pix работает только на ограниченных подсказках, пожалуйста, попробуйте здесь, если вы не уверены, работают ли ваш текст подсказки.
• Плохой результат для добавления . Мы используем ControlNet-Inpainting, чтобы сначала генерировать 2D Inpainting, а затем перенести его в 3D. Также это не работает для плохих подсказок. Пожалуйста, постарайтесь увеличить маску в Inpainting и попробовать больше семян.
• Плохой результат для сегментации . Попробуйте масштабировать порог сегментации, который изменяет оценку доверия для сегментации.
• Отсутствуют веса для DPT. Пожалуйста, прочитайте этот вопрос

Подтверждение

Наш код основан на этих замечательных репо:

• Гауссовая распада
• Wonder3d
• Тристодио
• Viser
• INSTRUCTNERF2NERF
• INSTRUCTPIX2PIX
• ControlNet