ROMP

Courir	Bev	TRACER
Régression monoculaire, monoculaire de plusieurs personnes 3D (ICCV21)	Mettre les gens à leur place: régression monoculaire des personnes 3D en profondeur (CVPR2022)	Trace: Régression temporelle 5D des avatars avec des caméras dynamiques dans des environnements 3D (CVPR2023)
ROMP est une méthode en une étape pour la récupération monoculaire de maillage 3D multi-personnes en temps réel .	Bev explore en outre les relations de profondeur multi-personnes et soutient tous les groupes d'âge .	Trace trace davantage sujets spécifiques et récupérer leur trajectoire 3D globale avec des caméras dynamiques .
[Papier] [vidéo]	[Page du projet] [Paper] [Vidéo]	[Page du projet] [Paper] [Vidéo]
	[Ensemble de données relatifhumain]	[Ensemble de données Dynacam]

Nous fournissons une API multiplateforme (installée via PIP) pour exécuter Romp & Bev sur Linux / Windows / Mac.

Table des matières

• Table des matières
• Nouvelles
• Commencer
  • Installation
  • Essayez Google Colab
• Comment l'utiliser
  • Veuillez vous référer à ces conseils pour l'inférence et l'exportation (FBX / GLB / BVH).
  • Former
  • Évaluation
  • Utilisation de Docker
  • Rapport de bogues
• Citation
• Reconnaissance

Nouvelles

2023/06/17: Libération du code de Trace. Veuillez vous référer à ces instructions d'inférence.
2022/06/21: Le code de formation et d'évaluation de la BEV est publié. Veuillez mettre à jour le modèle_data.
2022/05/16: Simple-Romp V1.0 est publié pour prendre en charge le suivi, l'appel dans Python, l'exportation de BVH, etc.
2022/04/14: le code d'inférence de BEV a été publié dans Simple-Romp V0.1.0.
2022/04/10: Ajout de support ONNX, avec une vitesse d'inférence plus rapide sur CPU / GPU.
Vieux journaux

Commencer

Veuillez utiliser une simple-raide pour l'inférence, le Code REST est juste pour la formation.

Comment l'utiliser

Romp & Bev

Pour l'inférence et l'exportation (FBX / GLB / BVH), veuillez vous référer à ces conseils.

Pour la formation, veuillez vous référer à Installation.MD pour l'installation complète, DataSet.MD pour la préparation des données, Train.md pour la formation.

Pour l'évaluation des repères, veuillez vous référer à ROMP_évaluation, Bev_evaluation.

TRACER

Pour l'inférence, veuillez vous référer à cette instruction.

Pour l'évaluation des repères, veuillez vous référer à Trace_evaluation.

Pour la formation, veuillez vous référer à Trace_Train.

Extensions

[Blender Addon]: Yan Chuanhang a créé un mélangeur-addon pour conduire un caractère 3D dans Blender à l'aide de ROMP à partir de l'entrée d'image, de vidéo ou de webcam.

[Protocole VMC]: Vivien Richter a mis en œuvre un support de protocole VMC (Capture de mouvement virtuel) pour différentes solutions de capture de mouvement avec ROMP.

Utilisation de Docker

Veuillez vous référer à docker.md

Rapport de bogues

Bienvenue pour soumettre des problèmes pour les bogues.

Contributeurs

Ce référentiel est maintenu par Yu Sun.

Romp a également bénéficié de nombreux développeurs, notamment

• Peng Cheng: Discussion constructive sur la formation des cartes centrales.
• Marco Musy: Aidez à la visualisation SMPL texturée.
• Gavin Gray: ajouter une prise en charge d'un élégant gestionnaire de contexte pour exécuter du code dans un ordinateur portable.
• VLT Media et Vivien Richter: Ajout de la prise en charge de l'exécution sur Windows & Batch_videos.py.
• Chuanhang Yan: Développer un addon pour le caractère de conduite dans Blender.
• Tian Jin: Aide dans le SMPL simplifié et le rendu rapide (Realrender).
• Zhengdiyu: Discussion utile sur l'optimisation des détails de la mise en œuvre.
• Ali Yaghoubian: Ajouter un fichier docker pour simple-romp.

Citation

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Reconnaissance

Ce travail a été soutenu par le National Key R&D Program of China sous Grand No. 2020AAA0103800.
Divulgation MJB : https://files.is.tue.mpg.de/black/COI_CVPR_2023.TXT