ROMP下载 - ROMP源代码下载

ROMP

Python

BEV training data

下载

欢蹦乱跳	贝夫	痕迹
单眼，单阶段，多个3D人的回归（ICCV21）	将人们放在原地：深入3D人的单眼回归（CVPR2022）	跟踪：在3D环境中具有动态相机的化身的5D时间回归（CVPR2023）
ROMP是一种单眼的单阶段方法，用于实时3D网格恢复。	BEV进一步探讨了多人深度关系并支持所有年龄段。	跟踪进一步轨迹轨迹，并使用动态摄像机恢复其全局3D轨迹。
[纸] [视频]	[项目页面] [纸] [视频]	[项目页面] [纸] [视频]
	[相对人道数据集]	[Dynacam数据集]

我们提供跨平台API （通过PIP安装）以在Linux / Windows / Mac上运行ROMP＆BEV。

消息

2023/06/17：发布跟踪代码的发布。请参阅此说明以进行推理。
2022/06/21：发布BEV的培训和评估代码。请更新model_data。
2022/05/16：释放Simple-Romp V1.0以支持跟踪，呼叫Python，导出BVH等。
2022/04/14：BEV的推理代码已在Simple-Romp V0.1.0中发布。
2022/04/10：添加ONNX支持，CPU/GPU的推理速度更快。
旧日志

入门

请使用简单的操作进行推理，其余代码仅用于培训。

如何使用它

Romp＆Bev

有关推论和出口（FBX/GLB/BVH），请参考此指南。

有关培训，请参阅installation.md进行完整安装，Dataset.md进行数据准备，Train.MD进行培训。

有关基准测试的评估，请参阅ROMP_Evaluation，Bev_evaluation。

痕迹

有关推论，请参考此仪器。

有关基准测试的评估，请参阅Trace_evaluation。

有关培训，请参阅Trace_train。

扩展

[Blender addon]：Yan Chuanhang创建了一个Blender-Addon，使用图像，视频或网络摄像头输入中的Romp在Blender中驱动3D字符。

[VMC协议]：Vivien Richter用ROMP实施了对不同运动捕获解决方案的VMC（虚拟运动捕获）协议支持。

Docker用法

请参考Docker.md

错误报告

欢迎提交错误的问题。

贡献者

该存储库由Yu Sun维护。

Romp也从许多开发人员中受益，包括

Peng Cheng：中心地图培训上的建设性讨论。
Marco Musy：帮助纹理的SMPL可视化。
加文·格雷（Gavin Gray）：添加支持优雅上下文管理器以在笔记本中运行代码的支持。
VLT Media和Vivien Richter：在Windows＆Batch_videos.py上增加支持。
Chuanhang Yan：为搅拌机中的驾驶角色开发一个插件。
天金：帮助简化的SMPL和快速渲染（房地产方案）。
Zhengdiyu：有关优化实施细节的有益讨论。
Ali Yaghoubian：添加Docker文件以进行简单操作。

引用

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }