unsup3d

Неконтролируемое изучение, вероятно, симметричных деформируемых трехмерных объектов из изображений в дикой природе

Демо | Project Page | Видео | Бумага

Шангхе Ву, Кристиан Руппрехт, Андреа Ведальди, Визуальная геометрическая группа, Оксфордский университет. В CVPR 2020 (Best Paper Award).

Мы предлагаем метод для изучения слабо симметричных деформируемых категорий 3D-объектов из необработанных изображений с одним видом без заземления 3D, множественных представлений, 2D/3D-клавиш, предварительных моделей формы или любого другого надзора.

Настройка (с Anaconda)

1. Установите зависимости:

 conda env create -f environment.yml

Или вручную:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Установите Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Примечание . Код тестируется с помощью Pytorch 1.2.0 и CUDA 9.2 на CentOS 7. Для обучения и тестирования требуется версия GPU, поскольку пакет Neural_Renderer только имеет реализацию графического процессора. Вы все еще можете запустить демонстрацию без графического процессора.

3. Установить neural_renderer:

Этот пакет необходим для обучения и тестирования и необязательно для демонстрации. Это требует устройства GPU и Pytorch с поддержкой графического процессора.

 pip install neural_renderer_pytorch

Примечание . Он может не сработать, если у вас есть версия GCC ниже 5. Если вы не хотите обновлять свой GCC, одно альтернативное решение - использовать GCC Conda и составить пакет из источника. Например:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (только для демонстрации) Установите Facenet-Pytorch:

Этот пакет не является обязательным для демонстрации. Это позволяет автоматическое обнаружение лица человека.

 pip install facenet-pytorch

Наборы данных

1. Набор данных Celeba Face. Пожалуйста, загрузите оригинальные изображения ( img_celeba.7z ) с их веб -сайта и запустите celeba_crop.py в data/ для обрезки изображений.
2. Синтетический набор данных лица, генерируемый с использованием модели базового лица. Это может быть загружено с помощью Script download_synface.sh , предоставленного в data/ .
3. Набор данных для лица CAT, состоящий из набора данных Head Cat и набора данных PET Oxford-IIT (лицензия). Это может быть загружено с помощью Script download_cat.sh предоставленного в data/ .
4. Набор данных синтетического автомобиля, созданный из автомобилей Shappenet. Изображения отображаются со случайными точками зрения сверху, где автомобили в основном ориентированы по вертикали. Это может быть загружено с помощью Script download_syncar.sh предоставленного в data/ .

Пожалуйста, не забудьте цитировать соответствующие документы, если вы используете эти наборы данных.

Предварительные модели

Загрузите предварительные модели с использованием сценариев, представленных в pretrained/ , например:

 cd pretrained && sh download_pretrained_celeba.sh

Демо

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Параметры :

• --gpu : включить GPU
• --detect_human_face : включить автоматическое обнаружение и обрезку человека с использованием MTCNN, предоставленного в Facenet-Pytorch. Это работает только на изображениях человека. Вам нужно будет вручную обрезать изображения для других объектов.
• --render_video : рендеринг 3D-анимации с использованием neural_renderer (GPU требуется)

Обучение и тестирование

Проверьте файлы конфигурации в experiments/ и запустите эксперименты, например:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Цитирование

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}