unsup3d

Apprentissage non supervisé des objets 3D déformables probablement symétriques d'images dans la nature

Démo | Page du projet | Vidéo | Papier

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, Visual Geometry Group, Université d'Oxford. Dans CVPR 2020 (prix du meilleur papier).

Nous proposons une méthode pour apprendre les catégories d'objets 3D déformables faiblement symétriques à partir d'images à vue unique brutes, sans truth 3D au sol, vues multiples, points des touches 2D / 3D, modèles de forme antérieure ou toute autre supervision.

Configuration (avec anaconda)

1. Installez les dépendances:

 conda env create -f environment.yml

Ou manuellement:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Installer Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Remarque : Le code est testé avec Pytorch 1.2.0 et CUDA 9.2 sur CentOS 7. Une version GPU est requise pour la formation et les tests, car le package Neural_Renderer n'a qu'une implémentation GPU. Vous pouvez toujours exécuter la démo sans GPU.

3. Installer Neural_Renderer:

Ce package est requis pour la formation et les tests, et facultatif pour la démo. Il nécessite un appareil GPU et un pytorch compatible GPU.

 pip install neural_renderer_pytorch

Remarque : il peut échouer si vous avez une version GCC inférieure à 5. Si vous ne souhaitez pas mettre à niveau votre GCC, une autre solution consiste à utiliser GCC de Conda et à compiler le package à partir de la source. Par exemple:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (pour la démo uniquement) Installez Facenet-Pytorch:

Ce package est facultatif pour la démo. Il permet une détection automatique du visage humain.

 pip install facenet-pytorch

Ensembles de données

1. Ensemble de données FACE CELEBA. Veuillez télécharger les images originales ( img_celeba.7z ) à partir de leur site Web et exécuter celeba_crop.py dans data/ pour recadrer les images.
2. Ensemble de données de visage synthétique généré à l'aide du modèle de visage Bâle. Cela peut être téléchargé à l'aide du script download_synface.sh fourni dans data/ .
3. Ensemble de données CAT Face composé de l'ensemble de données Cat Head et de l'ensemble de données PET Oxford-IIIT (Licence). Cela peut être téléchargé à l'aide du script download_cat.sh fourni dans data/ .
4. Ensemble de données de voitures synthétiques généré à partir de voitures ShapeNet. Les images sont rendues à partir de points de vue aléatoires du haut, où les voitures sont principalement orientées verticalement. Cela peut être téléchargé à l'aide du script download_syncar.sh fourni dans data/ .

N'oubliez pas de citer les articles correspondants si vous utilisez ces ensembles de données.

Modèles pré-entraînés

Téléchargez des modèles pré-entraînés à l'aide des scripts fournis dans pretrained/ , par exemple:

 cd pretrained && sh download_pretrained_celeba.sh

Démo

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Options :

• --gpu : activer le GPU
• --detect_human_face : activer la détection et la culture du visage humain automatique à l'aide de mtcnn fournie dans facenet-pytorch. Cela ne fonctionne que sur les images du visage humain. Vous devrez recadrer manuellement les images pour d'autres objets.
• --render_video : rendre les animations 3D à l'aide de neural_renderer (GPU est requis)

Formation et tests

Vérifiez les fichiers de configuration dans experiments/ et exécutez des expériences, par exemple:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Citation

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}