3DMPPE_POSENET_RELEASE

Posenet ของ "วิธีการจากบนลงล่างของกล้องระยะไกลสำหรับการประมาณรูปแบบหลายบุคคล 3 มิติจากภาพ RGB เดียว"

การแนะนำ

repo นี้เป็นการใช้งาน Pytorch อย่างเป็นทางการของ วิธีการจากบนลงล่างของกล้องระยะไกลสำหรับการประมาณแบบหลายบุคคลแบบ 3D จากภาพ RGB เดียว (ICCV 2019) มันมีส่วน Posenet

สิ่งที่ repo นี้ให้:

• การใช้งาน Pytorch ของวิธีการจากบนลงล่างของกล้องระยะไกลสำหรับการประมาณแบบหลายบุคคล 3D จากภาพ RGB เดียว (ICCV 2019)
• โค้ดที่ยืดหยุ่นและเรียบง่าย
• ความเข้ากันได้สำหรับชุดข้อมูลการประมาณค่า 2D และ 3D ที่เปิดเผยต่อสาธารณชนส่วนใหญ่รวมถึงชุดข้อมูลการประมาณแบบโพสต์เดี่ยวและหลายบุคคลรวมถึง Human3.6m, MPII, MS Coco 2017, MUCO-3DHP และ MUPOTS-3D
• รหัสการสร้างภาพข้อมูลการประมาณของมนุษย์

การพึ่งพาอาศัยกัน

• pytorch
• คนขี้เกียจ
• คนขี้เกียจ
• อนาคอนดา
• Coco API

รหัสนี้ได้รับการทดสอบภายใต้ Ubuntu 16.04, Cuda 9.0, Cudnn 7.1 สภาพแวดล้อมที่มีสอง Nvidia 1080Ti GPU

Python 3.6.5 เวอร์ชั่นกับ Anaconda 3 ใช้สำหรับการพัฒนา

การสาธิตอย่างรวดเร็ว

คุณสามารถลองสาธิตอย่างรวดเร็วที่ demo สาธิต

• ดาวน์โหลด posenet ที่ผ่านการฝึกอบรมมาแล้วที่นี่
• เตรียม input.jpg และสแนปชอตที่ผ่านการฝึกอบรมมาแล้วที่โฟลเดอร์ demo
• ตั้งค่า bbox_list ที่นี่
• ตั้งค่า root_depth_list ที่นี่
• เรียกใช้ python demo.py --gpu 0 --test_epoch 24 หากคุณต้องการทำงานบน GPU 0
• คุณสามารถดู output_pose_2d.jpg และหน้าต่างใหม่ที่แสดงท่า 3 มิติ

ไดเรกทอรี

ราก

${POSE_ROOT} อธิบายไว้ด้านล่าง

 ${POSE_ROOT}
|-- data
|-- demo
|-- common
|-- main
|-- tool
|-- vis
`-- output

• data มีรหัสการโหลดข้อมูลและลิงก์ซอฟต์ไปยังไดเรกทอรีรูปภาพและคำอธิบายประกอบ
• demo มีรหัสสาธิต
• common ประกอบด้วยรหัสเคอร์เนลสำหรับระบบการประมาณแบบหลายบุคคล 3D
• main มีรหัสระดับสูงสำหรับการฝึกอบรมหรือทดสอบเครือข่าย
• tool มีรหัสการประมวลผลข้อมูลล่วงหน้า คุณไม่ต้องเรียกใช้รหัสนี้ ฉันให้ข้อมูลที่ประมวลผลล่วงหน้าด้านล่าง
• vis มีสคริปต์สำหรับการสร้างภาพ 3 มิติ
• output ประกอบด้วยบันทึกโมเดลที่ผ่านการฝึกอบรมเอาต์พุตที่มองเห็นได้และผลการทดสอบ

ข้อมูล

คุณต้องทำตามโครงสร้างไดเรกทอรีของ data ด้านล่าง

 ${POSE_ROOT}
|-- data
|   |-- Human36M
|   |   |-- bbox_root
|   |   |   |-- bbox_root_human36m_output.json
|   |   |-- images
|   |   |-- annotations
|   |-- MPII
|   |   |-- images
|   |   |-- annotations
|   |-- MSCOCO
|   |   |-- bbox_root
|   |   |   |-- bbox_root_coco_output.json
|   |   |-- images
|   |   |   |-- train2017
|   |   |   |-- val2017
|   |   |-- annotations
|   |-- MuCo
|   |   |-- data
|   |   |   |-- augmented_set
|   |   |   |-- unaugmented_set
|   |   |   |-- MuCo-3DHP.json
|   |-- MuPoTS
|   |   |-- bbox_root
|   |   |   |-- bbox_mupots_output.json
|   |   |-- data
|   |   |   |-- MultiPersonTestSet
|   |   |   |-- MuPoTS-3D.json

• ดาวน์โหลด Human3.6m ข้อมูลแยกวิเคราะห์ [ข้อมูล]
• ดาวน์โหลด MPII Parsed Data [รูปภาพ] [คำอธิบายประกอบ]
• ดาวน์โหลดข้อมูลที่แยกวิเคราะห์และคอมโพสิต Muco [ข้อมูล]
• ดาวน์โหลด MUPOTS PARSED DATA [รูปภาพ] [คำอธิบายประกอบ]
• ไฟล์คำอธิบายประกอบทั้งหมดเป็นไปตามรูปแบบ MS Coco
• หากคุณต้องการเพิ่มชุดข้อมูลของคุณเองคุณต้องแปลงเป็นรูปแบบ MS Coco

หากต้องการดาวน์โหลดหลายไฟล์จาก Google Drive โดยไม่ต้องบีบอัดลองใช้สิ่งนี้ หากคุณมีปัญหากับปัญหา 'การดาวน์โหลดขีด จำกัด ' เมื่อพยายามดาวน์โหลดชุดข้อมูลจากลิงค์ Google Drive โปรดลองใช้เคล็ดลับนี้

 * Go the shared folder, which contains files you want to copy to your drive  
* Select all the files you want to copy  
* In the upper right corner click on three vertical dots and select “make a copy”  
* Then, the file is copied to your personal google drive account. You can download it from your personal account.  

เอาท์พุท

คุณต้องทำตามโครงสร้างไดเรกทอรีของโฟลเดอร์ output ท์พุทด้านล่าง

 ${POSE_ROOT}
|-- output
|-- |-- log
|-- |-- model_dump
|-- |-- result
`-- |-- vis

• การสร้างโฟลเดอร์ output เป็นแบบฟอร์มลิงค์ซอฟต์แทนแบบฟอร์มโฟลเดอร์เพราะจะต้องใช้ความจุในการจัดเก็บขนาดใหญ่
• โฟลเดอร์ log ประกอบด้วยไฟล์บันทึกการฝึกอบรม
• โฟลเดอร์ model_dump มีจุดตรวจที่บันทึกไว้สำหรับแต่ละยุค
• โฟลเดอร์ result มีไฟล์การประมาณขั้นสุดท้ายที่สร้างขึ้นในขั้นตอนการทดสอบ
• โฟลเดอร์ vis มีผลลัพธ์ที่เห็นภาพ

การสร้างภาพ 3 มิติ

• เรียกใช้ $DB_NAME_img_name.py เพื่อรับชื่อไฟล์ภาพในรูปแบบ. .txt
• วางไฟล์ผลการทดสอบของคุณ ( preds_2d_kpt_$DB_NAME.mat , preds_3d_kpt_$DB_NAME.mat ) ในโฟลเดอร์ single หรือ multi โฟลเดอร์
• เรียกใช้ draw_3Dpose_$DB_NAME.m

รัน 3DMPPE_POSONET

เริ่ม

• ใน main/config.py คุณสามารถเปลี่ยนการตั้งค่าของรุ่นรวมถึงชุดข้อมูลที่จะใช้แบ็คโบนเครือข่ายและขนาดอินพุตและอื่น ๆ

รถไฟ

ในโฟลเดอร์ main เรียกใช้

python train.py --gpu 0-1

เพื่อฝึกอบรมเครือข่ายบน GPU 0,1

หากคุณต้องการทำการทดลองต่อให้เรียกใช้

python train.py --gpu 0-1 --continue

--gpu 0,1 สามารถใช้แทน --gpu 0-1

ทดสอบ

วางโมเดลที่ผ่านการฝึกอบรมไว้ที่ output/model_dump/

ในโฟลเดอร์ main เรียกใช้

python test.py --gpu 0-1 --test_epoch 20

เพื่อทดสอบเครือข่ายบน GPU 0,1 ด้วยรูปแบบที่ผ่านการฝึกอบรมครั้งที่ 20 --gpu 0,1 สามารถใช้แทน --gpu 0-1

ผลลัพธ์

ที่นี่ฉันรายงานประสิทธิภาพของ Posenet

• ดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมล่วงหน้าของ PosenetNet ที่นี่
• กล่องขอบเขต (จาก DetectNet) และ Root Joint Coordintates (จาก RootNet) ของ Human3.6M, MSCOCO และชุดข้อมูล MUPOTS-3D ในที่นี่

ชุดข้อมูล Human3.6m โดยใช้โปรโตคอล 1

สำหรับการประเมินผลคุณสามารถเรียกใช้ test.py หรือมีรหัสการประเมินใน Human36M

ชุดข้อมูล Human3.6m โดยใช้โปรโตคอล 2

สำหรับการประเมินผลคุณสามารถเรียกใช้ test.py หรือมีรหัสการประเมินใน Human36M

ชุดข้อมูล MUPOTS-3D

สำหรับการประเมินผลให้ Run test.py หลังจากนั้นให้ย้าย data/MuPoTS/mpii_mupots_multiperson_eval.m ใน data/MuPoTS/data นอกจากนี้ให้ย้ายไฟล์ผลการทดสอบ ( preds_2d_kpt_mupots.mat และ preds_3d_kpt_mupots.mat ) ใน data/MuPoTS/data จากนั้นเรียกใช้ mpii_mupots_multiperson_eval.m พร้อมอาร์กิวเมนต์โหมดการประเมินของคุณ

ชุดข้อมูล MSCOCO

นอกจากนี้เรายังมีพิกัดรากมนุษย์ 3 มิติโดยประมาณในชุดข้อมูล MSCOCO พิกัดอยู่ในระบบพิกัดกล้อง 3 มิติและความยาวโฟกัสถูกตั้งค่าเป็น 1500 มม. สำหรับแกน X และ Y คุณสามารถเปลี่ยนความยาวโฟกัสและระยะทางที่สอดคล้องกันโดยใช้สมการ 2 หรือสมการในวัสดุเสริมของกระดาษของฉัน

อ้างอิง

 @InProceedings{Moon_2019_ICCV_3DMPPE,
author = {Moon, Gyeongsik and Chang, Juyong and Lee, Kyoung Mu},
title = {Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image},
booktitle = {The IEEE Conference on International Conference on Computer Vision (ICCV)},
year = {2019}
}