ROMP

วิ่งเล่น	เบฟ	ติดตาม
monocular, one-stage, การถดถอยของคน 3 มิติหลายคน (ICCV21)	ทำให้ผู้คนอยู่ในสถานที่ของพวกเขา: การถดถอยตาข้างเดียวของคน 3 มิติในเชิงลึก (CVPR2022)	ติดตาม: 5D การถดถอยชั่วคราวของอวตารด้วยกล้องไดนามิกในสภาพแวดล้อม 3 มิติ (CVPR2023)
ROMP เป็นวิธีการ หนึ่งขั้นตอน สำหรับการกู้คืนตาข่าย 3D แบบหลายตัวแบบตาข้างเดียวแบบ เรียลไทม์	Bev สำรวจ ความสัมพันธ์เชิงลึก หลายคนและสนับสนุน กลุ่มอายุทั้งหมด	ติดตาม ติดตามวิชาที่เฉพาะเจาะจง และกู้คืน วิถี 3D ทั่วโลกด้วยกล้องไดนามิก
[กระดาษ] [วิดีโอ]	[หน้าโครงการ] [กระดาษ] [วิดีโอ]	[หน้าโครงการ] [กระดาษ] [วิดีโอ]
	[ชุดข้อมูลญาติมนุษย์]	[ชุดข้อมูล Dynacam]

เราให้บริการ API ข้ามแพลตฟอร์ม (ติดตั้งผ่าน PIP) เพื่อเรียกใช้ ROMP & BEV บน Linux / Windows / Mac

สารบัญ

• สารบัญ
• ข่าว
• เริ่มต้น
  • การติดตั้ง
  • ลองใช้ Google Colab
• วิธีใช้
  • โปรดดูคำแนะนำนี้สำหรับการอนุมานและการส่งออก (FBX/GLB/BVH)
  • รถไฟ
  • การประเมิน
  • การใช้นักเทียบท่า
  • รายงานข้อบกพร่อง
• การอ้างอิง
• การรับทราบ

ข่าว

2023/06/17: การเปิดตัวรหัสของ Trace โปรดดูคำแนะนำนี้สำหรับการอนุมาน
2022/06/21: รหัสการฝึกอบรมและการประเมินผลของ Bev ได้รับการปล่อยตัว โปรดอัปเดต model_data
2022/05/16: Simple-Romp V1.0 ได้รับการปล่อยตัวเพื่อสนับสนุนการติดตามการโทรใน Python, ส่งออก BVH และอื่น ๆ
2022/04/14: รหัสการอนุมานของ BEV ได้รับการเผยแพร่ใน Simple-Romp V0.1.0
2022/04/10: เพิ่มการสนับสนุน ONNX ด้วยความเร็วการอนุมานที่เร็วขึ้นใน CPU/GPU
บันทึกเก่า

เริ่มต้น

โปรดใช้ Simple-Romp สำหรับการอนุมานรหัส REST เป็นเพียงการฝึกอบรม

วิธีใช้

ROMP & Bev

สำหรับการอนุมานและการส่งออก (FBX/GLB/BVH) โปรดดูคำแนะนำนี้

สำหรับการฝึกอบรมโปรดดูที่การติดตั้ง MD สำหรับการติดตั้งเต็มรูปแบบ dataSet.md สำหรับการเตรียมข้อมูล, train.md สำหรับการฝึกอบรม

สำหรับการประเมินผลการวัดประสิทธิภาพโปรดดูที่ romp_evaluation, bev_evaluation

ติดตาม

สำหรับการอนุมานโปรดดูคำแนะนำนี้

สำหรับการประเมินผลการวัดประสิทธิภาพโปรดดู trace_evaluation

สำหรับการฝึกอบรมโปรดดู trace_train

ส่วนขยาย

[BLENDER ADDON]: Yan Chuanhang สร้างเครื่องปั่น Addon เพื่อขับอักขระ 3 มิติในเครื่องปั่นโดยใช้ ROMP จากภาพวิดีโอหรือเว็บแคม

[VMC Protocol]: Vivien Richter ใช้การสนับสนุนโปรโตคอล VMC (เสมือน Motion Capture) สำหรับการแก้ปัญหาการจับภาพการเคลื่อนไหวที่แตกต่างกันด้วย ROMP

การใช้นักเทียบท่า

โปรดดูที่ Docker.md

รายงานข้อบกพร่อง

ยินดีต้อนรับสู่การส่งปัญหาสำหรับข้อบกพร่อง

ผู้มีส่วนร่วม

ที่เก็บนี้ได้รับการดูแลโดย Yu Sun

ROMP ยังได้รับประโยชน์จากนักพัฒนาหลายคนรวมถึง

• Peng Cheng: การอภิปรายเชิงสร้างสรรค์ในการฝึกอบรมแผนที่กลาง
• Marco Musy: ช่วยในการสร้างภาพ SMPL ที่มีพื้นผิว
• Gavin Gray: การเพิ่มการสนับสนุนสำหรับตัวจัดการบริบทที่สง่างามเพื่อเรียกใช้รหัสในสมุดบันทึก
• VLT Media และ Vivien Richter: เพิ่มการสนับสนุนสำหรับการทำงานบน Windows & Batch_Videos.py
• Chuanhang Yan: การพัฒนา addon สำหรับการขับขี่อักขระใน Blender
• Tian Jin: ช่วยในการแสดงผล SMPL ที่ง่ายขึ้นและการเรนเดอร์อย่างรวดเร็ว (RealRender)
• Zhengdiyu: การอภิปรายที่เป็นประโยชน์เกี่ยวกับการเพิ่มประสิทธิภาพรายละเอียดการใช้งาน
• Ali Yaghoubian: เพิ่มไฟล์ Docker สำหรับการเล่นง่าย ๆ

การอ้างอิง

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

การรับทราบ

งานนี้ได้รับการสนับสนุนโดยโครงการวิจัยและพัฒนาแห่งชาติคีย์ของจีนภายใต้ Grand No. 2020AAA0103800
การเปิดเผย MJB : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt