unsup3d

從野外圖像中對可能對稱變形的3D對象的無監督學習

演示|項目頁面|視頻|紙

Shangzhe Wu，Christian Rupprecht，Andrea Vedaldi，牛津大學視覺幾何組。在CVPR 2020年（最佳紙張獎）中。

我們提出了一種從原始單視圖像中學習弱對稱變形的3D對像類別的方法，沒有地面真相3D，多個視圖，2D/3D關鍵點，先前的形狀模型或任何其他監督。

設置（帶Anaconda）

1。安裝依賴項：

 conda env create -f environment.yml

或手動：

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2。安裝pytorch：

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

注意：該代碼在CentOS 7上使用Pytorch 1.2.0和CUDA 9.2進行了測試。培訓和測試需要GPU版本，因為Neural_Renderer軟件包僅具有GPU實現。您仍然可以在沒有GPU的情況下運行演示。

3。安裝neural_renderer：

此軟件包是培訓和測試所需的，並且演示是可選的。它需要GPU設備和啟用GPU的Pytorch。

 pip install neural_renderer_pytorch

注意：如果您的GCC版本低於5。如果您不想升級GCC，則可能會失敗，另一種解決方案是使用Conda的GCC並從源中編譯包裝。例如：

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4。 （僅適用於演示）安裝facenet-pytorch：

此包是演示的可選。它允許自動人臉檢測。

 pip install facenet-pytorch

數據集

1. Celeba face數據集。請從其網站下載原始圖像（ img_celeba.7z ），並在data/裁剪圖像中運行celeba_crop.py 。
2. 使用巴塞爾面部模型生成的合成面數據集。可以使用data/提供的腳本download_synface.sh下載。
3. CAT FACE數據集由Cat Head DataSet和Oxford-IIIT PET數據集組成（許可證）。可以使用data/提供的腳本download_cat.sh下載。
4. 由Shapenet汽車生成的合成汽車數據集。這些圖像是從頂部的隨機角度呈現的，其中汽車主要是垂直定向的。可以使用data/提供的腳本download_syncar.sh下載。

如果您使用這些數據集，請記住引用相應的論文。

預驗證的模型

使用pretrained/ （例如：

 cd pretrained && sh download_pretrained_celeba.sh

演示

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

選項：

• --gpu ：啟用GPU
• --detect_human_face ：使用FaceNet-Pytorch提供的MTCNN啟用自動人臉檢測和裁剪。這僅適用於人臉的圖像。您將需要手動為其他對象裁剪圖像。
• --render_video ：使用neural_renderer渲染3D動畫（需要GPU）

培訓和測試

在experiments/運行實驗中檢查配置文件，例如：

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

引用

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}