unsup3d

Unbeaufsichtigtes Lernen von wahrscheinlich symmetrischen deformierbaren 3D -Objekten aus Bildern in der Wildnis

Demo | Projektseite | Video | Papier

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, visuelle Geometriegruppe, Universität Oxford. In CVPR 2020 (Best Paper Award).

Wir schlagen eine Methode vor, um schwach symmetrische deformierbare 3D-Objektkategorien aus RAW-Einzelansichtsbildern, ohne Bodenwahrheit 3D, mehrere Ansichten, 2D/3D-Tastoint, frühere Formmodelle oder andere Aufsicht.

Setup (mit Anaconda)

1. Installieren Sie Abhängigkeiten:

 conda env create -f environment.yml

Oder manuell:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Installieren Sie Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Hinweis : Der Code wird mit Pytorch 1.2.0 und CUDA 9.2 auf CentOS 7 getestet. Eine GPU -Version ist für Schulungen und Tests erforderlich, da das Paket neural_renderer nur eine GPU -Implementierung hat. Sie können die Demo ohne GPU immer noch ausführen.

3.. Installieren Sie Neural_Renderer:

Dieses Paket ist für das Training und Testen erforderlich und für die Demo optional. Es erfordert ein GPU-Gerät und ein GPU-fähiger Pytorch.

 pip install neural_renderer_pytorch

Hinweis : Es kann fehlschlagen, wenn Sie eine GCC -Version unter 5 haben. Wenn Sie Ihr GCC nicht aktualisieren möchten, besteht eine alternative Lösung darin, den GCC von Conda zu verwenden und das Paket aus der Quelle zu kompilieren. Zum Beispiel:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

V.

Dieses Paket ist für die Demo optional. Es ermöglicht eine automatische Erkennung des menschlichen Gesichts.

 pip install facenet-pytorch

Datensätze

1. Celeba Face Dataset. Bitte laden Sie die Originalbilder ( img_celeba.7z ) von ihrer Website herunter und führen Sie celeba_crop.py in data/ zur Ernte der Bilder aus.
2. Synthetischer Gesichtsdatensatz, das mit dem Basel -Gesichtsmodell erzeugt wird. Dies kann mit dem Skript download_synface.sh werden data/
3. Cat Face-Datensatz aus Cat Head Dataset und Oxford-IIIT PET-Datensatz (Lizenz). Dies kann mit dem Skript heruntergeladen werden download_cat.sh in data/ .
4. Synthetischer Auto -Datensatz aus Shapenet -Autos. Die Bilder werden mit zufälligen Aussichtspunkten von oben gerendert, wo die Autos hauptsächlich vertikal ausgerichtet sind. Dies kann mit dem Skript heruntergeladen werden download_syncar.sh in data/ .

Bitte denken Sie daran, die entsprechenden Papiere zu zitieren, wenn Sie diese Datensätze verwenden.

Vorbereitete Modelle

Laden Sie mit den Skripten vor, die in pretrained/ , z.

 cd pretrained && sh download_pretrained_celeba.sh

Demo

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Optionen :

• --gpu : GPU aktivieren
• --detect_human_face : Aktivieren Sie die automatische Erkennung und Anbaus durch die automatische Erkennung und Zuschneiden von MTCNN, die in Spacenet-Pytorch bereitgestellt werden. Dies funktioniert nur auf menschlichen Gesichtsbildern. Sie müssen die Bilder manuell für andere Objekte aufnehmen.
• --render_video : Rendern 3D-Animationen mit neural_renderer (GPU ist erforderlich)

Training und Test

Überprüfen Sie die Konfigurationsdateien in experiments/ und führen Sie Experimente aus, z. B.:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Zitat

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}