ROMP

BRINCAR	Bev	Traço
Regressão monocular, de um estágio de várias pessoas 3D (ICCV21)	Colocando as pessoas em seu lugar: regressão monocular de pessoas em 3D em profundidade (CVPR2022)	Rastreio: regressão temporal 5D de avatares com câmeras dinâmicas em ambientes 3D (CVPR2023)
O ROMP é um método de um estágio para a recuperação monocular de malha 3D em várias pessoas em tempo real .	O BEV explora ainda mais relacionamentos de profundidade de várias pessoas e suporta todas as faixas etárias .	O Rastrear ainda rastreia assuntos específicos e recupera sua trajetória 3D global com câmeras dinâmicas .
[Papel] [Vídeo]	[Página do projeto] [Paper] [Vídeo]	[Página do projeto] [Paper] [Vídeo]
	[Conjunto de dados Relityhuman]	[DataSet Dynacam]

Fornecemos API de plataforma cruzada (instalada via PIP) para executar o ROMP & BEV no Linux / Windows / Mac.

Índice

• Índice
• Notícias
• Começando
  • Instalação
  • Experimente no Google Colab
• Como usá -lo
  • Consulte esta orientação para inferência e exportação (FBX/GLB/BVH).
  • Trem
  • Avaliação
  • Uso do Docker
  • Relatório de bugs
• Citação
• Reconhecimento

Notícias

2023/06/17: Liberação do código do Trace. Consulte essas instruções para inferência.
2022/06/21: O código de treinamento e avaliação do BEV é liberado. Atualize o modelo_data.
2022/05/16: Simple-romp v1.0 é lançado para apoiar o rastreamento, chamando em python, exportando BVH e etc.
2022/04/14: O Código de Inferência do BEV foi lançado em Simple-Romp v0.1.0.
2022/04/10: Adicionando suporte ONNX, com velocidade de inferência mais rápida na CPU/GPU.
Toras antigas

Começando

Por favor, use o simples-romp para inferência, o código de resto é apenas para treinamento.

Como usá -lo

ROMP & BEV

Para inferência e exportação (FBX/GLB/BVH), consulte esta orientação.

Para treinamento, consulte a instalação.md para instalação completa, DataSet.md para preparação de dados, Train.md para treinamento.

Para avaliar os benchmarks, consulte ROMP_Evaluation, bev_evaluation.

Traço

Para inferência, consulte esta instrução.

Para avaliação em benchmarks, consulte Trace_Evaluation.

Para treinamento, consulte Trace_train.

Extensões

[Blender Addon]: Yan Chuanhang criou um Blender-Addon para dirigir um caractere 3D no liquidificador usando o ROMP da entrada de imagem, vídeo ou webcam.

[Protocolo VMC]: Vivien Richter implementou um suporte de protocolo VMC (Captura de movimento virtual) para diferentes soluções de captura de movimento com ROMP.

Uso do Docker

Consulte o Docker.md

Relatório de bugs

Bem -vindo a enviar questões para os bugs.

Colaboradores

Este repositório é mantido por Yu Sun.

ROMP também se beneficiou de muitos desenvolvedores, incluindo

• Peng Cheng: discussão construtiva no treinamento do mapa central.
• Marco Musy: Ajuda na visualização texturizada do SMPL.
• Gavin Gray: Adicionando suporte para um elegante gerente de contexto para executar o código em um notebook.
• VLT Media e Vivien Richter: Adicionando suporte para executar no Windows & batch_videos.py.
• Chuanhang Yan: Desenvolvendo um complemento para dirigir caráter no liquidificador.
• Tian Jin: Ajuda na SMPL simplificada e na renderização rápida (RealRender).
• Zhengdiyu: discussão útil sobre otimização dos detalhes da implementação.
• Ali Yaghoubian: Adicione o arquivo Docker para o simples-romp.

Citação

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Reconhecimento

Este trabalho foi apoiado pelo Programa Nacional de Pesquisa de P&D da China sob Grand No. 2020AAA0103800.
Divulgação do MJB : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt