ROMP

BERGELUT	Bev	JEJAK
Monokular, satu tahap, regresi beberapa orang 3D (ICCV21)	Menempatkan orang di tempat mereka: regresi monokular orang 3D secara mendalam (CVPR2022)	Trace: Regresi temporal 5D avatar dengan kamera dinamis di lingkungan 3D (CVPR2023)
Romp adalah metode satu tahap untuk pemulihan 3D mesh multi-orang monokular secara real time .	BEV lebih lanjut mengeksplorasi hubungan kedalaman multi-orang dan mendukung semua kelompok umur .	Lacak lebih lanjut melacak subjek tertentu dan memulihkan lintasan 3D global mereka dengan kamera dinamis .
[Kertas] [Video]	[Halaman Proyek] [kertas] [Video]	[Halaman Proyek] [kertas] [Video]
	[Dataset Manusiawi Relatif]	[Dataset Dynacam]

Kami menyediakan API lintas platform (diinstal melalui PIP) untuk menjalankan Romp & Bev di Linux / Windows / Mac.

Daftar isi

• Daftar isi
• Berita
• Memulai
  • Instalasi
  • Coba Google Colab
• Cara menggunakannya
  • Silakan merujuk panduan ini untuk Inference & Export (FBX/GLB/BVH).
  • Kereta
  • Evaluasi
  • Penggunaan Docker
  • Laporan Bugs
• Kutipan
• Pengakuan

Berita

2023/06/17: Rilis Kode Trace. Silakan merujuk pada instruksi ini untuk inferensi.
2022/06/21: Kode pelatihan & evaluasi BEV dirilis. Harap perbarui model_data.
2022/05/16: Simple-Romp V1.0 dirilis untuk mendukung pelacakan, memanggil Python, mengekspor BVH, dan dll.
2022/04/14: Kode Inferensi BEV telah dirilis dalam Simple-Romp V0.1.0.
2022/04/10: Menambahkan dukungan ONNX, dengan kecepatan inferensi yang lebih cepat pada CPU/GPU.
Log Lama

Memulai

Harap gunakan pengunduran diri yang sederhana untuk inferensi, kode istirahat hanya untuk pelatihan.

Cara menggunakannya

Romp & Bev

Untuk Inference & Export (FBX/GLB/BVH), silakan merujuk ke panduan ini.

Untuk pelatihan, silakan merujuk ke instalasi.md untuk instalasi lengkap, dataset.md untuk persiapan data, train.md untuk pelatihan.

Untuk evaluasi pada tolok ukur, silakan merujuk ke romp_evaluasi, bev_evaluasi.

JEJAK

Untuk inferensi, silakan merujuk pada instraksi ini.

Untuk evaluasi pada tolok ukur, silakan merujuk ke Trace_evaluasi.

Untuk pelatihan, silakan merujuk ke Trace_train.

Ekstensi

[Blender Addon]: Yan Chuanhang membuat Blender-Addon untuk mengendarai karakter 3D dalam Blender menggunakan Romp dari input gambar, video atau webcam.

[VMC Protocol]: Vivien Richter menerapkan dukungan protokol VMC (virtual motion capture) untuk berbagai solusi penangkapan gerak dengan kejar -kejaran.

Penggunaan Docker

Silakan merujuk ke Docker.md

Laporan Bugs

Selamat datang untuk mengirimkan masalah untuk bug.

Kontributor

Repositori ini dipertahankan oleh Yu Sun.

Romp juga mendapat manfaat dari banyak pengembang

• Peng Cheng: Diskusi konstruktif tentang pelatihan peta pusat.
• Marco Musy: Bantuan dalam visualisasi SMPL bertekstur.
• Gavin Grey: Menambahkan dukungan untuk manajer konteks yang elegan untuk menjalankan kode dalam buku catatan.
• VLT Media dan Vivien Richter: Menambahkan dukungan untuk berjalan di Windows & Batch_videos.py.
• Chuanhang Yan: Mengembangkan addon untuk mengemudi karakter dalam Blender.
• Tian Jin: Bantuan dalam SMPL yang disederhanakan dan rendering cepat (Realrender).
• Zhengdiyu: Diskusi bermanfaat tentang mengoptimalkan detail implementasi.
• Ali Yaghoubian: Tambahkan File Docker untuk Rompi Sederhana.

Kutipan

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Pengakuan

Pekerjaan ini didukung oleh program R&D Kunci Nasional China di bawah Grand No. 2020AAA0103800.
Pengungkapan MJB : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt