หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

Vitpose: เส้นเขตแดนของหม้อแปลงวิสัยทัศน์ที่เรียบง่ายสำหรับการประมาณท่าของมนุษย์

ผลลัพธ์ | อัปเดต | การใช้งาน สิ่งที่ต้องทำ รับทราบ

สาขานี้มีการใช้ Pytorch ของ Vitpose: เส้นเขตแดนของหม้อแปลงวิสัยทัศน์ที่เรียบง่ายสำหรับการประมาณท่าทางของมนุษย์และ Vitpose+: แบบจำลองมูลนิธิ Vision Transformer สำหรับการประเมินท่าทางร่างกายทั่วไป มันได้รับ 81.1 AP ในชุดทดสอบ KEYPOINT MS Coco

การสาธิตเว็บ

  • รวมเข้ากับช่องว่าง HuggingFace? ใช้ Gradio ลองใช้วิดีโอสำหรับวิดีโอ: และรูปภาพ

โมเดลที่ผ่านการฝึกอบรมมาก่อน

  • โมเดลขนาดเล็ก Mae ที่ผ่านการฝึกอบรมล่วงหน้าสามารถพบได้ใน OneDrive
  • แบบจำลองฐานขนาดใหญ่และขนาดใหญ่ที่ผ่านการฝึกอบรมมาก่อนโดยใช้แม่สามารถพบได้ใน Repo อย่างเป็นทางการของแม่

ผลลัพธ์จาก repo นี้ในชุด Ms Coco Val (การฝึกอบรมงานเดียว)

การใช้ผลการตรวจจับจากเครื่องตรวจจับที่ได้รับ 56 แผนที่สำหรับบุคคล การกำหนดค่าที่นี่มีไว้สำหรับทั้งการฝึกอบรมและการทดสอบ

พร้อมตัวถอดรหัสแบบคลาสสิก

แบบอย่าง ก่อน ปณิธาน ap อาร์ การกำหนดค่า บันทึก น้ำหนัก
vitpose-s แม่ 256x192 73.8 79.2 การกำหนดค่า บันทึก OneDrive
Vitpose-B แม่ 256x192 75.8 81.1 การกำหนดค่า บันทึก OneDrive
vitpose-l แม่ 256x192 78.3 83.5 การกำหนดค่า บันทึก OneDrive
Vitpose-H แม่ 256x192 79.1 84.1 การกำหนดค่า บันทึก OneDrive

ด้วยตัวถอดรหัสง่ายๆ

แบบอย่าง ก่อน ปณิธาน ap อาร์ การกำหนดค่า บันทึก น้ำหนัก
vitpose-s แม่ 256x192 73.5 78.9 การกำหนดค่า บันทึก OneDrive
Vitpose-B แม่ 256x192 75.5 80.9 การกำหนดค่า บันทึก OneDrive
vitpose-l แม่ 256x192 78.2 83.4 การกำหนดค่า บันทึก OneDrive
Vitpose-H แม่ 256x192 78.9 84.0 การกำหนดค่า บันทึก OneDrive

ผลลัพธ์ด้วยการฝึกอบรมหลายงาน

หมายเหตุ * อาจมีภาพที่ซ้ำกันในชุดการฝึกอบรม crowdpose และภาพการตรวจสอบในชุดข้อมูลอื่น ๆ ตามที่กล่าวไว้ในปัญหา #24 โปรดระวังเมื่อใช้แบบจำลองเหล่านี้เพื่อการประเมินผล เราให้ผลลัพธ์โดยไม่มีชุดข้อมูล Crowpose สำหรับการอ้างอิง

ชุดข้อมูลมนุษย์ (MS Coco, AIC, MPII, CrowdPose)

ผลลัพธ์ในชุด Ms Coco Val

การใช้ผลการตรวจจับจากเครื่องตรวจจับที่ได้รับ 56 แผนที่สำหรับบุคคล หมายเหตุการกำหนดค่าที่นี่มีไว้สำหรับการประเมินผลเท่านั้น

แบบอย่าง ชุดข้อมูล ปณิธาน ap อาร์ การกำหนดค่า น้ำหนัก
Vitpose-B Coco+AIC+MPII 256x192 77.1 82.2 การกำหนดค่า OneDrive
vitpose-l Coco+AIC+MPII 256x192 78.7 83.8 การกำหนดค่า OneDrive
Vitpose-H Coco+AIC+MPII 256x192 79.5 84.5 การกำหนดค่า OneDrive
Vitpose-G Coco+AIC+MPII 576x432 81.0 85.6
vitpose-b* Coco+AIC+MPII+crowdpose 256x192 77.5 82.6 การกำหนดค่า OneDrive
vitpose-l* Coco+AIC+MPII+crowdpose 256x192 79.1 84.1 การกำหนดค่า OneDrive
vitpose-h* Coco+AIC+MPII+crowdpose 256x192 79.8 84.8 การกำหนดค่า OneDrive
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 75.8 82.6 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 77.0 82.6 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 78.6 84.1 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 79.4 84.8 การกำหนดค่า บันทึก | OneDrive

ผลลัพธ์ในชุดทดสอบ Ochuman

การใช้กล่องที่มีขอบเขตหลัก หมายเหตุการกำหนดค่าที่นี่มีไว้สำหรับการประเมินผลเท่านั้น

แบบอย่าง ชุดข้อมูล ปณิธาน ap อาร์ การกำหนดค่า น้ำหนัก
Vitpose-B Coco+AIC+MPII 256x192 88.0 89.6 การกำหนดค่า OneDrive
vitpose-l Coco+AIC+MPII 256x192 90.9 92.2 การกำหนดค่า OneDrive
Vitpose-H Coco+AIC+MPII 256x192 90.9 92.3 การกำหนดค่า OneDrive
Vitpose-G Coco+AIC+MPII 576x432 93.3 94.3
vitpose-b* Coco+AIC+MPII+crowdpose 256x192 88.2 90.0 การกำหนดค่า OneDrive
vitpose-l* Coco+AIC+MPII+crowdpose 256x192 91.5 92.8 การกำหนดค่า OneDrive
vitpose-h* Coco+AIC+MPII+crowdpose 256x192 91.6 92.8 การกำหนดค่า OneDrive
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 78.4 80.6 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 82.6 84.8 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 85.7 87.5 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 85.7 87.4 การกำหนดค่า บันทึก | OneDrive

ผลลัพธ์ในชุด mpii val

การใช้กล่องที่มีขอบเขตหลัก หมายเหตุการกำหนดค่าที่นี่มีไว้สำหรับการประเมินผลเท่านั้น ตัวชี้วัดคือ PCKH

แบบอย่าง ชุดข้อมูล ปณิธาน หมายถึง การกำหนดค่า น้ำหนัก
Vitpose-B Coco+AIC+MPII 256x192 93.3 การกำหนดค่า OneDrive
vitpose-l Coco+AIC+MPII 256x192 94.0 การกำหนดค่า OneDrive
Vitpose-H Coco+AIC+MPII 256x192 94.1 การกำหนดค่า OneDrive
Vitpose-G Coco+AIC+MPII 576x432 94.3
vitpose-b* Coco+AIC+MPII+crowdpose 256x192 93.4 การกำหนดค่า OneDrive
vitpose-l* Coco+AIC+MPII+crowdpose 256x192 93.9 การกำหนดค่า OneDrive
vitpose-h* Coco+AIC+MPII+crowdpose 256x192 94.1 การกำหนดค่า OneDrive
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 92.7 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 92.8 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 94.0 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 94.2 การกำหนดค่า บันทึก | OneDrive

ผลลัพธ์ในชุดทดสอบ AI Challenger

การใช้กล่องที่มีขอบเขตหลัก หมายเหตุการกำหนดค่าที่นี่มีไว้สำหรับการประเมินผลเท่านั้น

แบบอย่าง ชุดข้อมูล ปณิธาน ap อาร์ การกำหนดค่า น้ำหนัก
Vitpose-B Coco+AIC+MPII 256x192 32.0 36.3 การกำหนดค่า OneDrive
vitpose-l Coco+AIC+MPII 256x192 34.5 39.0 การกำหนดค่า OneDrive
Vitpose-H Coco+AIC+MPII 256x192 35.4 39.9 การกำหนดค่า OneDrive
Vitpose-G Coco+AIC+MPII 576x432 43.2 47.1
vitpose-b* Coco+AIC+MPII+crowdpose 256x192 31.9 36.3 การกำหนดค่า OneDrive
vitpose-l* Coco+AIC+MPII+crowdpose 256x192 34.6 39.0 การกำหนดค่า OneDrive
vitpose-h* Coco+AIC+MPII+crowdpose 256x192 35.3 39.8 การกำหนดค่า OneDrive
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 29.7 34.3 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 31.8 36.3 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 34.3 38.9 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 34.8 39.1 การกำหนดค่า บันทึก | OneDrive

ผลลัพธ์ในชุดทดสอบ crowdpose

ใช้เครื่องตรวจจับมนุษย์ YOLOV3 หมายเหตุการกำหนดค่าที่นี่มีไว้สำหรับการประเมินผลเท่านั้น

แบบอย่าง ชุดข้อมูล ปณิธาน ap AP (H) การกำหนดค่า น้ำหนัก
vitpose-b* Coco+AIC+MPII+crowdpose 256x192 74.7 63.3 การกำหนดค่า OneDrive
vitpose-l* Coco+AIC+MPII+crowdpose 256x192 76.6 65.9 การกำหนดค่า OneDrive
vitpose-h* Coco+AIC+MPII+crowdpose 256x192 76.3 65.6 การกำหนดค่า OneDrive

ชุดข้อมูลสัตว์ (AP10K, APT36K)

ผลลัพธ์ในชุดทดสอบ AP-10K

แบบอย่าง ชุดข้อมูล ปณิธาน ap การกำหนดค่า น้ำหนัก
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 71.4 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 74.5 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 80.4 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 82.4 การกำหนดค่า บันทึก | OneDrive

ผลลัพธ์ในชุด Val APT-36K

แบบอย่าง ชุดข้อมูล ปณิธาน ap การกำหนดค่า น้ำหนัก
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 74.2 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 75.9 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 80.8 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 82.3 การกำหนดค่า บันทึก | OneDrive

ชุดข้อมูลทั้งหมด

แบบอย่าง ชุดข้อมูล ปณิธาน ap การกำหนดค่า น้ำหนัก
Vitpose+-S Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 54.4 การกำหนดค่า บันทึก | OneDrive
vitpose+-b Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 57.4 การกำหนดค่า บันทึก | OneDrive
Vitpose+-l Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 60.6 การกำหนดค่า บันทึก | OneDrive
Vitpose+-H Coco+AIC+MPII+AP10K+APT36K+Whole Body 256x192 61.2 การกำหนดค่า บันทึก | OneDrive

ถ่ายโอนผลลัพธ์บนชุดข้อมูลมือ (interhand2.6m)

แบบอย่าง ชุดข้อมูล ปณิธาน AUC การกำหนดค่า น้ำหนัก
Vitpose+-S Coco+AIC+MPII+WhoLbody 256x192 86.5 การกำหนดค่า เร็วๆ นี้
vitpose+-b Coco+AIC+MPII+WhoLbody 256x192 87.0 การกำหนดค่า เร็วๆ นี้
Vitpose+-l Coco+AIC+MPII+WhoLbody 256x192 87.5 การกำหนดค่า เร็วๆ นี้
Vitpose+-H Coco+AIC+MPII+WhoLbody 256x192 87.6 การกำหนดค่า เร็วๆ นี้

การอัปเดต

[2023-01-10] อัปเดต Vitpose+! มันใช้กลยุทธ์ MOE เพื่อร่วมกันจัดการกับงานการประมาณค่ามนุษย์สัตว์และทั้งร่างกาย

[2022-05-24] อัปโหลดรหัสการฝึกอบรมแบบทำงานเดี่ยวโมเดลที่ผ่านการฝึกอบรมมาก่อนงานและโมเดลหลายรุ่น

[2022-05-06] อัปโหลดบันทึกสำหรับรุ่นฐานขนาดใหญ่และขนาดใหญ่!

[2022-04-27] Vitpose ของเรากับ Vitae-G ได้รับ 81.1 AP ในชุด Coco Test-Dev!

การประยุกต์ใช้หม้อแปลง Vitae รวมถึง: การจำแนกภาพ | การตรวจจับวัตถุ การแบ่งส่วนความหมาย การแบ่งส่วนสัตว์ การสำรวจระยะไกล | การปู VSA | เครื่องตี

การใช้งาน

เราใช้ Pytorch 1.9.0 หรือ NGC Docker 21.06 และ MMCV 1.3.9 สำหรับการทดลอง 

git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
git checkout v1.3.9
MMCV_WITH_OPS=1 pip install -e .
cd ..
git clone https://github.com/ViTAE-Transformer/ViTPose.git
cd ViTPose
pip install -v -e .

หลังจากติดตั้ง repos สองตัวแล้วให้ติดตั้ง Timm และ Einops เช่น 

pip install timm==0.4.9 einops

หลังจากดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมโปรดดำเนินการทดลองด้วยการวิ่ง 

 # for single machine
bash tools/dist_train.sh < Config PATH > < NUM GPUs > --cfg-options model.pretrained= < Pretrained PATH > --seed 0

# for multiple machines
python -m torch.distributed.launch --nnodes < Num Machines > --node_rank < Rank of Machine > --nproc_per_node < GPUs Per Machine > --master_addr < Master Addr > --master_port < Master Port > tools/train.py < Config PATH > --cfg-options model.pretrained= < Pretrained PATH > --launcher pytorch --seed 0

เพื่อทดสอบประสิทธิภาพของโมเดลที่ได้รับการฝึกฝนโปรดเรียกใช้ 

bash tools/dist_test.sh < Config PATH > < Checkpoint PATH > < NUM GPUs >

สำหรับโมเดล Vitpose+ ที่ผ่านการฝึกอบรมมาก่อนโปรดจัดระเบียบน้ำหนักที่ผ่านการฝึกอบรมมาก่อนโดยใช้ใหม่ 

python tools/model_split.py --source < Pretrained PATH >

สิ่งที่ต้องทำ

กระแส repo นี้มีการแก้ไขรวมถึง:

  • อัปโหลดการกำหนดค่าและรุ่นที่ผ่านการฝึกอบรม

  • โมเดลเพิ่มเติมพร้อมผลลัพธ์ SOTA

  • อัปโหลดการกำหนดค่าการฝึกอบรมหลายงาน

รับทราบ

เรารับทราบการใช้งานที่ยอดเยี่ยมจาก MMPOSE และ MAE

อ้างถึง Vitpose

สำหรับ Vitpose 

 @inproceedings{
  xu2022vitpose,
  title={Vi{TP}ose: Simple Vision Transformer Baselines for Human Pose Estimation},
  author={Yufei Xu and Jing Zhang and Qiming Zhang and Dacheng Tao},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022},
}

สำหรับ Vitpose+ 

 @article{xu2022vitpose+,
  title={ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation},
  author={Xu, Yufei and Zhang, Jing and Zhang, Qiming and Tao, Dacheng},
  journal={arXiv preprint arXiv:2212.04246},
  year={2022}
}

สำหรับ Vitae และ Vitaev2 โปรดดู: 

 @article{xu2021vitae,
  title={Vitae: Vision transformer advanced by exploring intrinsic inductive bias},
  author={Xu, Yufei and Zhang, Qiming and Zhang, Jing and Tao, Dacheng},
  journal={Advances in Neural Information Processing Systems},
  volume={34},
  year={2021}
}

@article{zhang2022vitaev2,
  title={ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond},
  author={Zhang, Qiming and Xu, Yufei and Zhang, Jing and Tao, Dacheng},
  journal={arXiv preprint arXiv:2202.10108},
  year={2022}
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด