3DMPPE_POSENET_RELEASE

Posenet dari "Camera-Aware Top-Down Pendekatan untuk estimasi pose multi-orang 3D dari gambar RGB tunggal"

Perkenalan

Repo ini adalah implementasi PyTorch resmi dari pendekatan top-down jarak jauh untuk estimasi pose multi-orang dari gambar RGB tunggal (ICCV 2019) . Itu berisi bagian posenet .

Apa yang disediakan repo ini:

• Pytorch Implementasi pendekatan top-down jarak jauh untuk estimasi pose multi-orang 3D dari satu gambar RGB (ICCV 2019).
• Kode yang fleksibel dan sederhana.
• Kompatibilitas untuk sebagian besar dataset estimasi pose 2D dan 3D, tunggal dan multi-orang yang tersedia termasuk Human3.6M, MPII, MS Coco 2017, MUCO-3DHP dan Mupots-3D .
• Kode visualisasi estimasi pose manusia.

Dependensi

• Pytorch
• Cuda
• Cudnn
• Anaconda
• Coco API

Kode ini diuji di bawah Ubuntu 16.04, CUDA 9.0, CUDNN 7.1 Lingkungan dengan dua GPU NVIDIA 1080TI.

Versi Python 3.6.5 dengan Anaconda 3 digunakan untuk pengembangan.

Demo cepat

Anda dapat mencoba demo cepat di folder demo .

• Unduh Posenet yang sudah terlatih di sini.
• Siapkan input.jpg dan snapshot terlatih di folder demo .
• Atur bbox_list di sini.
• Atur root_depth_list di sini.
• Jalankan python demo.py --gpu 0 --test_epoch 24 Jika Anda ingin menjalankan di GPU 0.
• Anda dapat melihat output_pose_2d.jpg dan jendela baru yang menunjukkan pose 3D.

Direktori

Akar

${POSE_ROOT} dijelaskan di bawah ini.

 ${POSE_ROOT}
|-- data
|-- demo
|-- common
|-- main
|-- tool
|-- vis
`-- output

• data berisi kode pemuatan data dan tautan lunak ke gambar dan direktori anotasi.
• demo berisi kode demo.
• common berisi kode kernel untuk sistem estimasi pose multi-orang 3D.
• main berisi kode tingkat tinggi untuk melatih atau menguji jaringan.
• tool berisi kode pra-pemrosesan data. Anda tidak perlu menjalankan kode ini. Saya memberikan data yang telah diproses di bawah ini.
• vis berisi skrip untuk visualisasi 3D.
• output berisi log, model terlatih, output yang divisualisasikan, dan hasil tes.

Data

Anda perlu mengikuti struktur direktori data seperti di bawah ini.

 ${POSE_ROOT}
|-- data
|   |-- Human36M
|   |   |-- bbox_root
|   |   |   |-- bbox_root_human36m_output.json
|   |   |-- images
|   |   |-- annotations
|   |-- MPII
|   |   |-- images
|   |   |-- annotations
|   |-- MSCOCO
|   |   |-- bbox_root
|   |   |   |-- bbox_root_coco_output.json
|   |   |-- images
|   |   |   |-- train2017
|   |   |   |-- val2017
|   |   |-- annotations
|   |-- MuCo
|   |   |-- data
|   |   |   |-- augmented_set
|   |   |   |-- unaugmented_set
|   |   |   |-- MuCo-3DHP.json
|   |-- MuPoTS
|   |   |-- bbox_root
|   |   |   |-- bbox_mupots_output.json
|   |   |-- data
|   |   |   |-- MultiPersonTestSet
|   |   |   |-- MuPoTS-3D.json

• Unduh Human3.6M Data Parsed [Data]
• Unduh Data Parsed MPII [Gambar] [Anotasi]
• Unduh MUCO Parsed dan Data Terkomposit [Data]
• Unduh data parsed mupot [gambar] [anotasi]
• Semua file anotasi mengikuti format MS Coco.
• Jika Anda ingin menambahkan dataset Anda sendiri, Anda harus mengonversinya ke format MS Coco.

Untuk mengunduh beberapa file dari Google Drive tanpa mengompresnya, coba ini. Jika Anda memiliki masalah dengan masalah 'Batas Unduh' saat mencoba mengunduh dataset dari tautan Google Drive, silakan coba trik ini.

 * Go the shared folder, which contains files you want to copy to your drive  
* Select all the files you want to copy  
* In the upper right corner click on three vertical dots and select “make a copy”  
* Then, the file is copied to your personal google drive account. You can download it from your personal account.  

Keluaran

Anda harus mengikuti struktur direktori folder output seperti di bawah ini.

 ${POSE_ROOT}
|-- output
|-- |-- log
|-- |-- model_dump
|-- |-- result
`-- |-- vis

• Membuat folder output sebagai bentuk tautan lunak direkomendasikan alih -alih formulir folder karena akan mengambil kapasitas penyimpanan yang besar.
• Folder log berisi file log pelatihan.
• Folder model_dump berisi pos pemeriksaan yang disimpan untuk setiap zaman.
• Folder result berisi file estimasi akhir yang dihasilkan pada tahap pengujian.
• Folder vis berisi hasil yang divisualisasikan.

Visualisasi 3D

• Jalankan $DB_NAME_img_name.py untuk mendapatkan nama file gambar dalam format .txt .
• Tempatkan file hasil tes Anda ( preds_2d_kpt_$DB_NAME.mat , preds_3d_kpt_$DB_NAME.mat ) di folder single atau multi .
• Jalankan draw_3Dpose_$DB_NAME.m

Menjalankan 3DMPPE_POSENET

Awal

• Di main/config.py , Anda dapat mengubah pengaturan model termasuk dataset untuk digunakan, tulang punggung jaringan, dan ukuran input dan sebagainya.

Kereta

Di folder main , jalankan

python train.py --gpu 0-1

Untuk melatih jaringan pada GPU 0,1.

Jika Anda ingin melanjutkan percobaan, jalankan

python train.py --gpu 0-1 --continue

--gpu 0,1 dapat digunakan sebagai ganti --gpu 0-1 .

Tes

Tempatkan model terlatih di output/model_dump/ .

Di folder main , jalankan

python test.py --gpu 0-1 --test_epoch 20

Untuk menguji jaringan pada GPU 0,1 dengan model yang terlatih zaman ke -20. --gpu 0,1 dapat digunakan sebagai ganti --gpu 0-1 .

Hasil

Di sini saya melaporkan kinerja posenet.

• Unduh model pra-terlatih dari posenetnet di sini
• Bounding Boxs (dari DetectNet) dan Root Coordintates Root (dari Rootnet) Human3.6M, MSCOCO, dan Dataset Mupots-3D di sini.

Human3.6m Dataset Menggunakan Protokol 1

Untuk evaluasi, Anda dapat menjalankan test.py atau ada kode evaluasi dalam Human36M .

Human3.6m Dataset Menggunakan Protokol 2

Untuk evaluasi, Anda dapat menjalankan test.py atau ada kode evaluasi dalam Human36M .

Dataset Mupots-3D

Untuk evaluasi, jalankan test.py Setelah itu, pindahkan data/MuPoTS/mpii_mupots_multiperson_eval.m dalam data/MuPoTS/data . Juga, pindahkan file hasil tes ( preds_2d_kpt_mupots.mat dan preds_3d_kpt_mupots.mat ) dalam data/MuPoTS/data . Kemudian jalankan mpii_mupots_multiperson_eval.m dengan argumen mode evaluasi Anda.

Dataset MSCOCO

Kami juga menyediakan koordinat akar manusia 3D yang diperkirakan pada dataset MSCOCO. Koordinat berada dalam sistem koordinat kamera 3D, dan panjang fokus diatur ke 1500mm untuk sumbu x dan y. Anda dapat mengubah panjang fokus dan jarak yang sesuai menggunakan persamaan 2 atau persamaan dalam bahan tambahan dari kertas saya.

Referensi

 @InProceedings{Moon_2019_ICCV_3DMPPE,
author = {Moon, Gyeongsik and Chang, Juyong and Lee, Kyoung Mu},
title = {Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image},
booktitle = {The IEEE Conference on International Conference on Computer Vision (ICCV)},
year = {2019}
}