unsup3d

Aprendizagem não supervisionada de objetos 3D deformáveis provavelmente simétricos de imagens na natureza

Demo | Página do projeto | Vídeo | Papel

Shangzhe Wu, Christian Rupprecht, Andrea Vedaldi, Grupo de Geometria Visual, Universidade de Oxford. No CVPR 2020 (prêmio de melhor papel).

Propomos um método para aprender categorias de objetos 3D deformáveis fracamente simétricas a partir de imagens de vista única, sem 3D de verdade, múltiplas visualizações, pontos-chave 2D/3D, modelos de forma anteriores ou qualquer outra supervisão.

Configuração (com Anaconda)

1. Instale dependências:

 conda env create -f environment.yml

Ou manualmente:

 conda install -c conda-forge scikit-image matplotlib opencv moviepy pyyaml tensorboardX

2. Instale Pytorch:

 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=9.2 -c pytorch

Nota : O código é testado com Pytorch 1.2.0 e CUDA 9.2 no CentOS 7. Uma versão da GPU é necessária para treinamento e teste, pois o pacote neural_renderer possui apenas implementação de GPU. Você ainda pode executar a demonstração sem GPU.

3. Instale neural_renderer:

Este pacote é necessário para treinamento e teste e opcional para a demonstração. Requer um dispositivo GPU e Pytorch habilitado para GPU.

 pip install neural_renderer_pytorch

NOTA : Pode falhar se você tiver uma versão GCC abaixo de 5. Se você não deseja atualizar seu GCC, uma solução alternativa é usar o GCC da CONDA e compilar o pacote da fonte. Por exemplo:

 conda install gxx_linux-64=7.3
git clone https://github.com/daniilidis-group/neural_renderer.git
cd neural_renderer
python setup.py install

4. (Somente para demonstração) Instale o FaceNet-Pytorch:

Este pacote é opcional para a demonstração. Permite detecção automática de rosto humano.

 pip install facenet-pytorch

Conjuntos de dados

1. Celeba Face DataSet. Faça o download das imagens originais ( img_celeba.7z ) em seu site e execute celeba_crop.py em data/ para cortar as imagens.
2. Conjunto de dados de face sintética gerada usando o modelo de face de Basileia. Isso pode ser baixado usando o script download_synface.sh fornecido em data/ .
3. Conjunto de dados de face de gato composto pelo conjunto de dados da cabeça de gato e conjunto de dados de animais de estimação Oxford-IIIT (licença). Isso pode ser baixado usando o script download_cat.sh fornecido em data/ .
4. Conjunto de dados de carros sintéticos gerados a partir de carros Sheparnet. As imagens são renderizadas com pontos de vista aleatórios do topo, onde os carros são orientados principalmente verticalmente. Isso pode ser baixado usando o script download_syncar.sh fornecido em data/ .

Lembre -se de citar os artigos correspondentes se você usar esses conjuntos de dados.

Modelos pré -terem sido pretados

Faça o download de modelos pré -ridados usando os scripts fornecidos em pretrained/ , por exemplo:

 cd pretrained && sh download_pretrained_celeba.sh

Demonstração

 python -m demo.demo --input demo/images/human_face --result demo/results/human_face --checkpoint pretrained/pretrained_celeba/checkpoint030.pth

Opções :

• --gpu : Ativar GPU
• --detect_human_face : Ativar detecção e corte de rosto humano automáticas usando o MTCNN fornecido no FaceNet-Pytorch. Isso só funciona em imagens de rosto humano. Você precisará cultivar manualmente as imagens para outros objetos.
• --render_video : renderize animações 3D usando neural_renderer (a GPU é necessária)

Treinamento e teste

Verifique os arquivos de configuração em experiments/ e execute experimentos, por exemplo:

 python run.py --config experiments/train_celeba.yml --gpu 0 --num_workers 4

Citação

 @InProceedings{Wu_2020_CVPR,
  author = {Shangzhe Wu and Christian Rupprecht and Andrea Vedaldi},
  title = {Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild},
  booktitle = {CVPR},
  year = {2020}
}