pytorch pose

pytorch-pose

Pytorch-pose เป็นการดำเนินการ Pytorch ของท่อส่งทั่วไปสำหรับการประมาณค่าโพสท่ามนุษย์เดี่ยว 2D จุดมุ่งหมายคือการจัดหาอินเทอร์เฟซของการฝึกอบรม/การอนุมาน/การประเมินผลและ dataloader ที่มีตัวเลือกการเพิ่มข้อมูลต่าง ๆ สำหรับฐานข้อมูลโพสต์ของมนุษย์ที่ได้รับความนิยมมากที่สุด (เช่น MPII Human Pose, LSP และ FLIC)

รหัสบางส่วนสำหรับการเตรียมข้อมูลและการเพิ่มมาจากเครือข่ายนาฬิกาทรายแบบซ้อน ขอบคุณผู้เขียนต้นฉบับ

อัปเดต: ที่เก็บนี้เข้ากันได้กับ Pytorch 0.4.1/1.0 ตอนนี้!

คุณสมบัติ

• การโหลดข้อมูลแบบมัลติเธรด
• การฝึกอบรมหลาย GPU
• คนตัดไม้
• การฝึกอบรม/การทดสอบผลการแสดงผล

การติดตั้ง

1. Pytorch (> = 0.4.1): โปรดทำตามคำแนะนำการติดตั้งของ Pytorch โปรดทราบว่ารหัสได้รับการพัฒนาด้วย Python2 และยังไม่ได้ทดสอบกับ Python3

2. โคลนที่เก็บด้วย submodule

    git clone --recursive https://github.com/bearpaw/pytorch-pose.git
   

3. สร้างลิงค์สัญลักษณ์ไปยังไดเรกทอรี images ของชุดข้อมูล MPII:

    ln -s PATH_TO_MPII_IMAGES_DIR data/mpii/images
   

   สำหรับการฝึกอบรม/การทดสอบเกี่ยวกับ Coco โปรดดู Coco Readme

4. ดาวน์โหลดไฟล์คำอธิบายประกอบ:
   • (mpii) ดาวน์โหลด mpii_annotations.json และบันทึกเป็น data/mpii
   • (mscoco) ดาวน์โหลด coco_annotations_2014.json หรือ/และ coco_annotations_2017.json และบันทึกลงใน data/mscoco

การใช้งาน

โปรดดูที่การฝึกอบรม MD สำหรับสูตรการฝึกอบรมโดยละเอียด!

การทดสอบ

คุณสามารถดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมของเรา (เช่นโมเดลนาฬิกาทราย 2 สแต็ก) เพื่อเริ่มต้นอย่างรวดเร็ว

เรียกใช้คำสั่งต่อไปนี้ในเทอร์มินัลเพื่อประเมินโมเดลในการแยกการตรวจสอบ MPII (การแยกรถไฟ/วาลมาจาก Tompson และคณะ CVPR 2015)

 CUDA_VISIBLE_DEVICES=0 python example/main.py --dataset mpii -a hg --stacks 2 --blocks 1 --checkpoint checkpoint/mpii/hg_s2_b1 --resume checkpoint/mpii/hg_s2_b1/model_best.pth.tar -e -d

• -a ระบุสถาปัตยกรรมเครือข่าย
• --resume จะโหลดน้ำหนักจากรุ่นที่เฉพาะเจาะจง
• -e หมายถึงการประเมินเท่านั้น
• -d จะเห็นภาพเอาต์พุตเครือข่าย สามารถใช้ในระหว่างการฝึกอบรม

ผลลัพธ์จะถูกบันทึกเป็นไฟล์ .mat ( preds_valid.mat ) ซึ่งเป็นเมทริกซ์ 2958x16x2 ในโฟลเดอร์ที่ระบุโดย --checkpoint

ประเมินคะแนน [email protected]

ประเมินด้วย MATLAB

คุณสามารถใช้ evaluation/eval_PCKh.m เพื่อประเมินการคาดการณ์ของคุณ รหัสการประเมินผลถูกส่งจาก Tompson และคณะ CVPR 2015

ผลลัพธ์ ([email protected] คะแนน) ที่ผ่านการฝึกอบรมโดยใช้รหัสนี้มีการรายงานในตารางต่อไปนี้

แบบอย่าง	ศีรษะ	ไหล่	ข้อศอก	ข้อมือ	สะโพก	เข่า	ข้อเท้า	หมายถึง
HG_S2_B1 (สุดท้าย)	95.80	94.57	88.12	83.31	86.24	80.88	77.44	86.76
HG_S2_B1 (ดีที่สุด)	95.87	94.68	88.27	83.64	86.29	81.20	77.70	86.95
HG_S8_B1 (สุดท้าย)	96.79	95.19	90.08	85.32	87.48	84.26	80.73	88.64
HG_S8_B1 (ดีที่สุด)	96.79	95.28	90.27	85.56	87.57	84.3	81.06	88.78

เส้นโค้งการฝึกอบรม / การตรวจสอบความถูกต้องมีดังนี้

ประเมินด้วย Python

นอกจากนี้คุณยังสามารถประเมินผลลัพธ์โดยใช้ python evaluation/eval_PCKh.py เพื่อประเมินการคาดการณ์ มันจะให้ผลลัพธ์เดียวกันกับของ MATLAB ขอบคุณ @sssruhan1 สำหรับการบริจาค

การฝึกอบรม

เรียกใช้คำสั่งต่อไปนี้ในเทอร์มินัลเพื่อฝึกอบรมเครือข่ายนาฬิกาทราย 8 สแต็คบนชุดข้อมูลโพสต์มนุษย์ MPII

 CUDA_VISIBLE_DEVICES=0 python example/main.py --dataset mpii -a hg --stacks 8 --blocks 1 --checkpoint checkpoint/mpii/hg8 -j 4

ที่นี่,

• CUDA_VISIBLE_DEVICES=0 ระบุอุปกรณ์ GPU ที่คุณต้องการใช้ ตัวอย่างเช่นใช้ CUDA_VISIBLE_DEVICES=0,1 หากคุณต้องการใช้ GPU สองตัวกับ ID 0 และ 1
• -j ระบุจำนวนพนักงานที่คุณต้องการใช้สำหรับการโหลดข้อมูล
• --checkpoint ระบุตำแหน่งที่คุณต้องการบันทึกโมเดลบันทึกและการคาดการณ์

ความผิดพลาด

ชุดข้อมูลที่รองรับ

• ท่าทางมนุษย์ MPII
• Leeds Sports Pose (LSP)
• MSCOCO (คนเดียว)

รุ่นที่รองรับ

• เครือข่ายนาฬิกาทรายแบบเรียงซ้อน
• Xiao et al., เส้นเขตแดนง่ายๆสำหรับการประมาณและการติดตามท่าของมนุษย์, ECCV 2018 (PDF | GitHub)

มีส่วนช่วย

โปรดสร้างคำขอดึงหากคุณต้องการมีส่วนร่วม