ROMP

RETOZAR	Bev	RASTRO
Monocular, una etapa, regresión de múltiples personas 3D (ICCV21)	Poner a las personas en su lugar: regresión monocular de personas en 3D en profundidad (CVPR2022)	Trace: regresión temporal 5D de avatares con cámaras dinámicas en entornos 3D (CVPR2023)
RUPP es un método de una etapa para la recuperación de malla 3D de personas en forma real monocular en tiempo real .	BEV explora aún más las relaciones de profundidad de varias personas y apoya a todos los grupos de edad .	Trace más rastrea sujetos específicos y recuperan su trayectoria 3D global con cámaras dinámicas .
[Paper] [Video]	[Página del proyecto] [Paper] [Video]	[Página del proyecto] [Paper] [Video]
	[Conjunto de datos relativohuman]	[Dynacam DataSet]

Proporcionamos una API multiplataforma (instalada a través de PIP) para ejecutar RUTP & BEV en Linux / Windows / Mac.

Tabla de contenido

• Tabla de contenido
• Noticias
• Empezando
  • Instalación
  • Prueba en Google Colab
• Cómo usarlo
  • Consulte esta guía para inferencia y exportación (FBX/GLB/BVH).
  • Tren
  • Evaluación
  • Uso de Docker
  • Informe de errores
• Citación
• Reconocimiento

Noticias

2023/06/17: Liberación del código de Trace. Consulte estas instrucciones para obtener inferencia.
2022/06/21: Se lanza el código de capacitación y evaluación de BEV. Actualice el model_data.
2022/05/16: se lanza V1.0 simple para admitir el seguimiento, llamar a Python, exportar BVH, etc.
2022/04/14: El código de inferencia de BEV se ha lanzado en Simple-ROMP V0.1.0.
2022/04/10: Agregar soporte ONNX, con una velocidad de inferencia más rápida en CPU/GPU.
Viejos registros

Empezando

Por favor, use Simple-ROPM para inferencia, el código REST es solo para capacitación.

Cómo usarlo

Romp y Bev

Para inferencia y exportación (FBX/GLB/BVH), consulte esta guía.

Para capacitación, consulte la instalación.md para la instalación completa, DataSet.md para la preparación de datos, Train.MD para capacitación.

Para la evaluación en los puntos de referencia, consulte RUMP_Evaluation, Bev_evaluation.

RASTRO

Para inferencia, consulte esta instrcución.

Para la evaluación en puntos de referencia, consulte Trace_Evaluation.

Para capacitación, consulte Trace_train.

Extensiones

[Blender Addon]: Yan Chuanhang creó un Blender-Addon para impulsar un personaje 3D en Blender usando RUPP desde la imagen, el video o la entrada de cámara web.

[Protocolo VMC]: Vivien Richter implementó un soporte de protocolo VMC (captura de movimiento virtual) para diferentes soluciones de captura de movimiento con RUT.

Uso de Docker

Consulte Docker.md

Informe de errores

Bienvenido a enviar problemas para los errores.

Colaboradores

Este repositorio es mantenido por Yu Sun.

Romps también se ha beneficiado de muchos desarrolladores, incluido

• Peng Cheng: Discusión constructiva sobre el entrenamiento de mapas centrales.
• Marco Musy: ayuda en la visualización de SMPL texturizada.
• Gavin Gray: Agregar soporte para un gerente de contexto elegante para ejecutar código en un cuaderno.
• VLT Media y Vivien Richter: Agregar soporte para ejecutar en Windows & Batch_videos.py.
• Chuanhang Yan: Desarrollar un complemento para conducir el carácter en Blender.
• Tian Jin: Ayuda en SMPL simplificada y representación rápida (Realrender).
• Zhengdiyu: discusión útil sobre la optimización de los detalles de implementación.
• Ali Yaghoubian: Agregue el archivo Docker para una rupt simple.

Citación

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Reconocimiento

Este trabajo fue apoyado por el Programa Nacional de I + D de China bajo el Gran No. 2020AA0103800.
Divulgación de MJB : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt