ROMP

TUMMELN	Bev	VERFOLGEN
Monokular, einstufig, Regression mehrerer 3D-Personen (ICCV21)	Menschen an ihre Stelle bringen: Monokulare Regression von 3D -Menschen ausführlich (CVPR2022)	TRACE: 5d Temporale Regression von Avataren mit dynamischen Kameras in 3D -Umgebungen (CVPR2023)
Romp ist eine einstufige Methode für die monokulare 3D-Mesh-Wiederherstellung in Echtzeit .	BEV untersucht weiterhin mehr Personen Tiefenbeziehungen und unterstützt alle Altersgruppen .	Trace verfolgt weitere spezifische Probanden und wiedererlangt ihre globale 3D -Flugbahn mit dynamischen Kameras .
[Papier] [Video]	[Projektseite] [Papier] [Video]	[Projektseite] [Papier] [Video]
	[RelativeHuman Dataset]	[Dynacam -Datensatz]

Wir bieten eine plattformübergreifende API (über PIP installiert), um ROMP & BEV unter Linux / Windows / Mac auszuführen.

Inhaltsverzeichnis

• Inhaltsverzeichnis
• Nachricht
• Erste Schritte
  • Installation
  • Probieren Sie Google Colab aus
• Wie man es benutzt
  • Weitere Informationen zu Inferenz und Export (FBX/GLB/BVH) finden Sie in dieser Anleitung.
  • Zug
  • Auswertung
  • Docker -Nutzung
  • Bugs -Bericht
• Zitat
• Anerkennung

Nachricht

2023/06/17: Veröffentlichung von Trace's Code. Bitte beachten Sie diese Anweisungen für Inferenz.
2022/06/21: Der Schulungs- und Bewertungscode von Bev wird veröffentlicht. Bitte aktualisieren Sie die model_data.
2022/05/16: Simple-romp V1.0 wird veröffentlicht, um die Verfolgung zu unterstützen, in Python zu rufen, BVH zu exportieren, und etc.
2022/04/14: Inferenzcode von Bev wurde in Simple-ROMP V0.1.0 veröffentlicht.
2022/04/10: Hinzufügen von OnNX -Unterstützung mit einer schnelleren Inferenzgeschwindigkeit für CPU/GPU.
Alte Protokolle

Erste Schritte

Bitte verwenden Sie Simple-ROMP für Inferenz. Der Restcode ist nur für das Training gedacht.

Wie man es benutzt

ROMP & Bev

Für Inferenz und Export (FBX/GLB/BVH) finden Sie diese Anleitung.

Für das Training finden Sie in der Installation.md für die vollständige Installation, dataset.md für die Datenvorbereitung, train.md für das Training.

Für die Bewertung von Benchmarks finden Sie unter romp_evaluation, Bev_Valuation.

VERFOLGEN

Für Inferenz finden Sie auf dieser Instrtierung.

Für die Bewertung von Benchmarks finden Sie unter Trace_Valuation.

Für das Training finden Sie auf Trace_Train.

Erweiterungen

[Blender Addon]: Yan Chuanhang hat einen Mixer-Addon erstellt, um einen 3D-Charakter im Blender mit ROMP aus Bild-, Video- oder Webcam-Eingabe zu steuern.

[VMC -Protokoll]: Vivien Richter implementierte eine VMC -Protokollunterstützung für verschiedene Bewegungserfassungslösungen mit ROMP.

Docker -Nutzung

Bitte beziehen Sie sich auf Docker.md

Bugs -Bericht

Willkommen, um Probleme für die Fehler einzureichen.

Mitwirkende

Dieses Repository wird von Yu Sun gepflegt.

ROMP hat auch von vielen Entwicklern profitiert, einschließlich

• Peng Cheng: Konstruktive Diskussion zum Center Map Training.
• Marco Musy: Hilfe bei der strukturierten SMPL -Visualisierung.
• Gavin Gray: Hinzufügen von Unterstützung für einen eleganten Kontextmanager, der Code in einem Notebook ausführt.
• VLT Media und Vivien Richter: Unterstützung für das Ausführen unter Windows & batch_videos.py.
• Chuanhang Yan: Entwicklung eines Addons zum Antrieb von Charakter in Mixer.
• Tian Jin: Hilfe bei vereinfachtem SMPL und schnellem Rendering (RealRender).
• Zhengdiyu: hilfreiche Diskussion über die Optimierung der Implementierungsdetails.
• Ali Yaghoubian: Fügen Sie die Docker-Datei für Simple-Romp hinzu.

Zitat

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Anerkennung

Diese Arbeit wurde vom National Key F & D -Programm Chinas unter Grand Nr. 2020AAA0103800 unterstützt.
MJB Offenlegung : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt