ROMP

رومب	بيف	يتعقب
أحادي المرحلة ، مرحلة واحدة ، الانحدار لأشخاص ثلاثي الأبعاد (ICCV21)	وضع الناس في مكانهم: الانحدار الأحادي للأشخاص ثلاثي الأبعاد بعمق (CVPR2022)	التتبع: الانحدار الزمني 5D للآلات مع كاميرات ديناميكية في البيئات ثلاثية الأبعاد (CVPR2023)
ROMP هي طريقة واحدة من المرحلة لاستعادة الشبكات ثلاثية الأبعاد أحادية النقل في الوقت الفعلي .	يستكشف BEV كذلك علاقات عمق متعددة الأشخاص ويدعم جميع الفئات العمرية .	تتبع تتبع مواضيع محددة واستعادة مسارها ثلاثي الأبعاد العالمي مع الكاميرات الديناميكية .
[ورقة] [فيديو]	[صفحة المشروع] [ورقة] [فيديو]	[صفحة المشروع] [ورقة] [فيديو]
	[مجموعة بيانات REPERANTIMAN]	[Dynacam Dataset]

نحن نقدم واجهة برمجة تطبيقات منصة (مثبتة عبر PIP) لتشغيل Romp & Bev على Linux / Windows / Mac.

جدول المحتويات

• جدول المحتويات
• أخبار
• ابدء
  • تثبيت
  • جرب على Google Colab
• كيفية استخدامه
  • يرجى الرجوع إلى هذا التوجيه للاستدلال والتصدير (FBX/GLB/BVH).
  • يدرب
  • تقييم
  • استخدام Docker
  • تقرير الأخطاء
• اقتباس
• شكر وتقدير

أخبار

2023/06/17: إصدار رمز Trace. يرجى الرجوع إلى هذه التعليمات للاستدلال.
2022/06/21: تم إصدار قانون التدريب والتقييم في BEV. يرجى تحديث Model_Data.
2022/05/16: تم إصدار Simple-Romp V1.0 لدعم التتبع ، والاتصال في Python ، وتصدير BVH ، وما إلى ذلك.
2022/04/14: تم إصدار رمز الاستدلال لـ BEV في Simple-Romp v0.1.0.
2022/04/10: إضافة دعم ONNX ، مع سرعة استنتاج أسرع على وحدة المعالجة المركزية/GPU.
سجلات قديمة

ابدء

يرجى استخدام Simple-Romp للاستدلال ، رمز REST مخصص للتدريب فقط.

كيفية استخدامه

Romp & Bev

للاستدلال والتصدير (FBX/GLB/BVH) ، يرجى الرجوع إلى هذا التوجيه.

للتدريب ، يرجى الرجوع إلى installation.md للتثبيت الكامل ، dataset.md لإعداد البيانات ، Train.md للتدريب.

للتقييم على المعايير ، يرجى الرجوع إلى romp_evaluation ، bev_evaluation.

يتعقب

للاستدلال ، يرجى الرجوع إلى هذا instrcution.

للتقييم على المعايير ، يرجى الرجوع إلى Trace_Evaluation.

للتدريب ، يرجى الرجوع إلى trace_train.

الامتدادات

[Blender Addon]: قام Yan Chuanhang بإنشاء خلاط أدوون لقيادة حرف ثلاثي الأبعاد في الخلاط باستخدام Romp من إدخال الصورة أو الفيديو أو كاميرا الويب.

[بروتوكول VMC]: قام Vivien Richter بتطبيق دعم بروتوكول VMC (التقاط الحركة الافتراضية) لحلول التقاط الحركة المختلفة مع ROMP.

استخدام Docker

يرجى الرجوع إلى docker.md

تقرير الأخطاء

مرحبا بكم لتقديم المشكلات في الأخطاء.

المساهمين

يتم الحفاظ على هذا المستودع من قبل يو صن.

استفاد Romp أيضًا من العديد من المطورين ، بما في ذلك

• بينغ تشنغ: مناقشة بناء حول التدريب على خريطة المركز.
• ماركو موسي: مساعدة في تصور SMPL المحكم.
• Gavin Gray: إضافة دعم لمدير سياق أنيق لتشغيل الرمز في دفتر ملاحظات.
• VLT Media و Vivien Richter: إضافة دعم للتشغيل على Windows & Batch_Videos.py.
• Chuanhang Yan: تطوير addon لقيادة شخصية في الخلاط.
• تيان جين: مساعدة في SMPL المبسطة وتقديم سريع (Realrender).
• Zhengdiyu: مناقشة مفيدة حول تحسين تفاصيل التنفيذ.
• علي ياغوبان: إضافة ملف Docker لـ Simple-Romp.

اقتباس

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

شكر وتقدير

تم دعم هذا العمل من قبل برنامج البحث والتطوير الرئيسي في الصين بموجب رقم 2020aaa0103800 الكبير.
MJB الكشف : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt