ROMP下載 - ROMP源代碼下載

ROMP

Python

BEV training data

下載

歡蹦亂跳	貝夫	痕跡
單眼，單階段，多個3D人的回歸（ICCV21）	將人們放在原地：深入3D人的單眼回歸（CVPR2022）	跟踪：在3D環境中具有動態相機的化身的5D時間回歸（CVPR2023）
ROMP是一種單眼的單階段方法，用於實時3D網格恢復。	BEV進一步探討了多人深度關係並支持所有年齡段。	跟踪進一步軌跡軌跡，並使用動態攝像機恢復其全局3D軌跡。
[紙] [視頻]	[項目頁面] [紙] [視頻]	[項目頁面] [紙] [視頻]
	[相對人道數據集]	[Dynacam數據集]

我們提供跨平台API （通過PIP安裝）以在Linux / Windows / Mac上運行ROMP＆BEV。

消息

2023/06/17：發布跟踪代碼的發布。請參閱此說明以進行推理。
2022/06/21：發布BEV的培訓和評估代碼。請更新model_data。
2022/05/16：釋放Simple-Romp V1.0以支持跟踪，呼叫Python，導出BVH等。
2022/04/14：BEV的推理代碼已在Simple-Romp V0.1.0中發布。
2022/04/10：添加ONNX支持，CPU/GPU的推理速度更快。
舊日誌

入門

請使用簡單的操作進行推理，其餘代碼僅用於培訓。

如何使用它

Romp＆Bev

有關推論和出口（FBX/GLB/BVH），請參考此指南。

有關培訓，請參閱installation.md進行完整安裝，Dataset.md進行數據準備，Train.MD進行培訓。

有關基準測試的評估，請參閱ROMP_Evaluation，Bev_evaluation。

痕跡

有關推論，請參考此儀器。

有關基準測試的評估，請參閱Trace_evaluation。

有關培訓，請參閱Trace_train。

擴展

[Blender addon]：Yan Chuanhang創建了一個Blender-Addon，使用圖像，視頻或網絡攝像頭輸入中的Romp在Blender中驅動3D字符。

[VMC協議]：Vivien Richter用ROMP實施了對不同運動捕獲解決方案的VMC（虛擬運動捕獲）協議支持。

Docker用法

請參考Docker.md

錯誤報告

歡迎提交錯誤的問題。

貢獻者

該存儲庫由Yu Sun維護。

Romp也從許多開發人員中受益，包括

Peng Cheng：中心地圖培訓上的建設性討論。
Marco Musy：幫助紋理的SMPL可視化。
加文·格雷（Gavin Gray）：添加支持優雅上下文管理器以在筆記本中運行代碼的支持。
VLT Media和Vivien Richter：在Windows＆Batch_videos.py上增加支持。
Chuanhang Yan：為攪拌機中的駕駛角色開發一個插件。
天金：幫助簡化的SMPL和快速渲染（房地產方案）。
Zhengdiyu：有關優化實施細節的有益討論。
Ali Yaghoubian：添加Docker文件以進行簡單操作。

引用

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }