unsup3d

Aprendizaje no supervisado de objetos 3D deformables probablemente simétricos de imágenes en la naturaleza

Demostración | Página del proyecto | Video | Papel

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, Grupo de Geometría Visual, Universidad de Oxford. En CVPR 2020 (premio al mejor documento).

Proponemos un método para aprender categorías de objetos 3D deformables débilmente simétricos de imágenes de visión única sin procesar, sin vistas 3D, vistas múltiples, puntos clave 2D/3D, modelos de forma anteriores o cualquier otra supervisión.

Configuración (con Anaconda)

1. Instalar dependencias:

 conda env create -f environment.yml

O manualmente:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Instale Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Nota : El código se prueba con Pytorch 1.2.0 y CUDA 9.2 en CentOS 7. Se requiere una versión de GPU para capacitación y pruebas, ya que el paquete Neural_Renderer solo tiene implementación de GPU. Todavía puede ejecutar la demostración sin GPU.

3. Instale neural_renderer:

Este paquete es necesario para capacitación y pruebas, y opcional para la demostración. Requiere un dispositivo GPU y pytorch habilitado para GPU.

 pip install neural_renderer_pytorch

Nota : Puede fallar si tiene una versión de GCC por debajo de 5. Si no desea actualizar su GCC, una solución alternativa es usar GCC de Conda y compilar el paquete desde la fuente. Por ejemplo:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (Solo para demostración) Instale FACENET-PYTORCH:

Este paquete es opcional para la demostración. Permite la detección automática de la cara humana.

 pip install facenet-pytorch

Conjuntos de datos

1. Celeba Face DataSet. Descargue las imágenes originales ( img_celeba.7z ) desde su sitio web y ejecute celeba_crop.py en data/ para recortar las imágenes.
2. Conjunto de datos de la cara sintética generado con el modelo de cara de Basilea. Esto se puede descargar utilizando el script download_synface.sh proporcionado en data/ .
3. Conjunto de datos Cat Face Compuesto de Cat Head DataSet y Oxford-IIIT PET DataSet (Licencia). Esto se puede descargar utilizando el script download_cat.sh proporcionado en data/ .
4. Conjunto de datos de automóviles sintéticos generado a partir de autos Shapenet. Las imágenes se emiten con puntos de vista aleatorios desde la parte superior, donde los autos están orientados principalmente verticalmente. Esto se puede descargar utilizando el script download_syncar.sh proporcionado en data/ .

Recuerde citar los documentos correspondientes si usa estos conjuntos de datos.

Modelos previos a la aparición

Descargue modelos previos a la aparición utilizando los scripts proporcionados en pretrained/ , por ejemplo:

 cd pretrained && sh download_pretrained_celeba.sh

Manifestación

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Opciones :

• --gpu : habilitar GPU
• --detect_human_face : habilita la detección automática de la cara humana y el recorte utilizando MTCNN proporcionado en Facenet-Pytorch. Esto solo funciona en imágenes de la cara humana. Deberá recortar manualmente las imágenes para otros objetos.
• --render_video : renderizaciones 3D usando neural_renderer (se requiere GPU)

Entrenamiento y prueba

Verifique los archivos de configuración en experiments/ y ejecute experimentos, por ejemplo:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Citación

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}