unsup3d

야생 이미지에서 아마도 대칭 변형 가능한 3D 객체에 대한 감독되지 않은 학습

데모 | 프로젝트 페이지 | 비디오 | 종이

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, 옥스포드 대학교 시각 기하학 그룹. CVPR 2020 (Best Paper Award)에서.

우리는 지상 진실 3D, 다중 뷰, 2D/3D 키패 인, 이전 모양 모델 또는 기타 감독없이 원시 단일 뷰 이미지에서 약하게 대칭 변형 가능한 3D 객체 범주를 학습하는 방법을 제안합니다.

설정 (아나콘다 포함)

1. 종속성 설치 :

 conda env create -f environment.yml

또는 수동 :

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Pytorch 설치 :

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

참고 : 코드는 CentOS 7에서 Pytorch 1.2.0 및 Cuda 9.2로 테스트됩니다. Neural_renderer 패키지에는 GPU 구현 만 가지고 있으므로 GPU 버전은 교육 및 테스트를 위해 필요합니다. GPU 없이도 여전히 데모를 실행할 수 있습니다.

3. Neural_renderer 설치 :

이 패키지는 교육 및 테스트에 필요하며 데모에는 선택 사항이 필요합니다. GPU 장치와 GPU 지원 Pytorch가 필요합니다.

 pip install neural_renderer_pytorch

참고 : 5 세 미만의 GCC 버전이 있으면 실패 할 수 있습니다. GCC를 업그레이드하지 않으려면 Conda의 GCC를 사용하고 소스에서 패키지를 컴파일하는 것입니다. 예를 들어:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (데모 만 해당) Facenet-Pytorch 설치 :

이 패키지는 데모의 선택 사항입니다. 자동 인간 얼굴 감지가 가능합니다.

 pip install facenet-pytorch

데이터 세트

1. Celeba Face 데이터 세트. 웹 사이트에서 원본 이미지 ( img_celeba.7z )를 다운로드하고 이미지를 자르기 data/ celeba_crop.py 실행하십시오.
2. 바젤 얼굴 모델을 사용하여 생성 된 합성 얼굴 데이터 세트. data/ 에서 제공된 스크립트 download_synface.sh 사용하여 다운로드 할 수 있습니다.
3. 고양이 얼굴 데이터 세트는 고양이 머리 데이터 세트 및 옥스포드 -IIIT PET 데이터 세트 (라이센스)로 구성됩니다. data/ 에 제공된 스크립트 download_cat.sh 사용하여 다운로드 할 수 있습니다.
4. Shapenet 자동차에서 생성 된 합성 자동차 데이터 세트. 이미지는 차가 주로 수직으로 지향되는 상단의 임의의 관점으로 렌더링됩니다. data/ 에서 제공된 스크립트 download_syncar.sh 사용하여 다운로드 할 수 있습니다.

이 데이터 세트를 사용하는 경우 해당 서류를 인용하십시오.

사전 예방 모델

pretrained/ , 예를 들어 다음과 같은 스크립트를 사용하여 사전 처리 된 모델을 다운로드하십시오.

 cd pretrained && sh download_pretrained_celeba.sh

데모

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

옵션 :

• --gpu : GPU를 활성화합니다
• --detect_human_face : Facenet-Pytorch에 제공된 MTCNN을 사용하여 자동 인간면 감지 및 자르기를 활성화합니다. 이것은 인간의 얼굴 이미지에서만 작동합니다. 다른 객체의 이미지를 수동으로자를 필요가 있습니다.
• --render_video : neural_renderer를 사용하여 3D 애니메이션 렌더링 (GPU가 필요합니다)

훈련 및 테스트

experiments/ 에서 구성 파일을 확인하고 실험을 실행하십시오.

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

소환

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}