unsup3d

Pembelajaran tanpa pengawasan dari objek 3D yang dapat dideformasi simetris dari gambar di alam liar

Demo | Halaman Proyek | Video | Kertas

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, Visual Geometry Group, University of Oxford. Dalam CVPR 2020 (Penghargaan Kertas Terbaik).

Kami mengusulkan metode untuk mempelajari kategori objek 3D yang dapat dideformasi simetris yang lemah dari gambar pandang tunggal mentah, tanpa 3D kebenaran tanah, beberapa tampilan, titik tombol 2D/3D, model bentuk sebelumnya atau pengawasan lainnya.

Pengaturan (dengan Anaconda)

1. Pasang dependensi:

 conda env create -f environment.yml

Atau secara manual:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Instal Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Catatan : Kode ini diuji dengan Pytorch 1.2.0 dan CUDA 9.2 pada CentOS 7. Versi GPU diperlukan untuk pelatihan dan pengujian, karena paket Neural_Renderer hanya memiliki implementasi GPU. Anda masih dapat menjalankan demo tanpa GPU.

3. Instal Neural_Renderer:

Paket ini diperlukan untuk pelatihan dan pengujian, dan opsional untuk demo. Ini membutuhkan perangkat GPU dan Pytorch yang diaktifkan GPU.

 pip install neural_renderer_pytorch

Catatan : Mungkin gagal jika Anda memiliki versi GCC di bawah 5. Jika Anda tidak ingin meningkatkan GCC Anda, salah satu solusi alternatif adalah dengan menggunakan GCC Conda dan menyusun paket dari sumber. Misalnya:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (Untuk demo saja) Instal Facenet-Pytorch:

Paket ini opsional untuk demo. Ini memungkinkan deteksi wajah manusia otomatis.

 pip install facenet-pytorch

Kumpulan data

1. Dataset Wajah Celeba. Silakan unduh gambar asli ( img_celeba.7z ) dari situs web mereka dan jalankan celeba_crop.py dalam data/ untuk memotong gambar.
2. Dataset wajah sintetis yang dihasilkan menggunakan model wajah Basel. Ini dapat diunduh menggunakan skrip download_synface.sh disediakan dalam data/ .
3. Dataset wajah kucing terdiri dari dataset kepala kucing dan dataset Pet Oxford-IIIT (lisensi). Ini dapat diunduh menggunakan skrip download_cat.sh disediakan dalam data/ .
4. Dataset mobil sintetis yang dihasilkan dari mobil Shapenet. Gambar diberikan dari sudut pandang acak dari atas, di mana mobil terutama berorientasi vertikal. Ini dapat diunduh menggunakan skrip download_syncar.sh disediakan dalam data/ .

Harap ingat untuk mengutip makalah yang sesuai jika Anda menggunakan kumpulan data ini.

Model pretrained

Unduh model pretrained menggunakan skrip yang disediakan dalam pretrained/ , misalnya:

 cd pretrained && sh download_pretrained_celeba.sh

Demo

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Opsi :

• --gpu : Aktifkan GPU
• --detect_human_face : Aktifkan deteksi wajah manusia otomatis dan pemangkasan menggunakan MTCNN yang disediakan di Facenet-Pytorch. Ini hanya berfungsi pada gambar wajah manusia. Anda perlu memotong gambar secara manual untuk objek lain.
• --render_video : Render animasi 3D menggunakan neural_renderer (diperlukan GPU)

Pelatihan dan pengujian

Periksa file konfigurasi dalam experiments/ dan jalankan percobaan, misalnya:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Kutipan

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}