หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

trt_pose

ต้องการตรวจจับท่าทางหรือไม่? ตรวจสอบโครงการ TRT_POSE_HAND ใหม่สำหรับการจดจำมือแบบเรียลไทม์และการจดจำท่าทาง!

TRT_POSE มีวัตถุประสงค์เพื่อเปิดใช้งานการประมาณท่าเรียลไทม์ใน Nvidia Jetson คุณอาจพบว่ามีประโยชน์สำหรับแพลตฟอร์ม Nvidia อื่น ๆ เช่นกัน ปัจจุบันโครงการรวมถึง

  • แบบจำลองที่ผ่านการฝึกอบรมมาก่อนสำหรับการประมาณท่าทางมนุษย์ที่สามารถทำงานได้ตามเวลาจริงกับ Jetson Nano ทำให้ง่ายต่อการตรวจจับคุณสมบัติเช่น left_eye , left_elbow , right_ankle ฯลฯ

  • การฝึกอบรมสคริปต์เพื่อฝึกอบรมข้อมูลงานของจุดคีย์ในรูปแบบ MSCOCO ซึ่งหมายความว่าคุณสามารถทดลองกับการฝึกอบรม TRT_POSE สำหรับงานตรวจจับจุดสำคัญนอกเหนือจากท่าทางของมนุษย์

ในการเริ่มต้นให้ทำตามคำแนะนำด้านล่าง หากคุณพบปัญหาใด ๆ โปรดแจ้งให้เราทราบ

เริ่มต้น

ในการเริ่มต้นด้วย TRT_POSE ให้ทำตามขั้นตอนเหล่านี้

ขั้นตอนที่ 1 - ติดตั้งการพึ่งพา

  1. ติดตั้ง Pytorch และ Torchvision ในการทำสิ่งนี้ใน Nvidia Jetson เราขอแนะนำให้ติดตามคู่มือนี้

  2. ติดตั้ง Torch2trt 

     git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
cd torch2trt
sudo python3 setup . py install - - plugins

  3. ติดตั้งแพ็คเกจเบ็ดเตล็ดอื่น ๆ 

     sudo pip3 install tqdm cython pycocotools
sudo apt - get install python3 - matplotlib

ขั้นตอนที่ 2 - ติดตั้ง trt_pose 

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

ขั้นตอนที่ 3 - เรียกใช้สมุดบันทึกตัวอย่าง

เราจัดทำโมเดลการประมาณค่าของมนุษย์สองแบบที่ผ่านการฝึกอบรมไว้ล่วงหน้าในชุดข้อมูล MSCOCO ปริมาณงานใน FPS จะแสดงสำหรับแต่ละแพลตฟอร์ม

แบบอย่าง Jetson Nano Jetson Xavier น้ำหนัก
resnet18_baseline_att_224x224_a 22 251 ดาวน์โหลด (81MB)
densenet121_baseline_att_256x256_b 12 101 ดาวน์โหลด (84MB)

ในการเรียกใช้การสาธิตสมุดบันทึก Jupyter Live ในอินพุตกล้องแบบเรียลไทม์ให้ทำตามขั้นตอนเหล่านี้

  1. ดาวน์โหลดน้ำหนักรุ่นโดยใช้ลิงก์ในตารางด้านบน

  2. วางน้ำหนักที่ดาวน์โหลดไว้ในไดเรกทอรีงาน/human_pose

  3. เปิดและติดตามสมุดบันทึก live_demo.ipynb

    คุณอาจต้องแก้ไขสมุดบันทึกขึ้นอยู่กับรุ่นที่คุณใช้

ดูด้วย

  • TRT_POSE_HAND - การประมาณมือแบบเรียลไทม์ตาม TRT_POSE

  • Torch2trt - Pytorch To Tensorrt Converter ใช้งานง่าย

  • JETBOT - หุ่นยนต์ AI เพื่อการศึกษาโดยใช้ Nvidia Jetson Nano

  • Jetracer - AI Racecar การศึกษาโดยใช้ Nvidia Jetson Nano

  • Jetcam - อินเทอร์เฟซกล้อง Python ที่ใช้งานง่ายสำหรับ Nvidia Jetson

การอ้างอิง

สถาปัตยกรรมโมเดล TRT_POSE ที่ระบุไว้ข้างต้นได้รับแรงบันดาลใจจากงานต่อไปนี้ แต่ไม่ใช่แบบจำลองโดยตรง โปรดตรวจสอบรหัสโอเพนซอร์ซและไฟล์การกำหนดค่าในที่เก็บนี้เพื่อดูรายละเอียดสถาปัตยกรรม หากคุณมีคำถามใด ๆ อย่าลังเลที่จะติดต่อ

  • Cao, Zhe, et al. "การประมาณค่า 2D แบบเรียลไทม์แบบเรียลไทม์โดยใช้ฟิลด์ Affinity Part" การดำเนินการของการประชุม IEEE เกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ 2017.

  • Xiao, Bin, Haiping Wu และ Yichen Wei "เส้นเขตแดนที่เรียบง่ายสำหรับการประเมินและติดตามท่าทางของมนุษย์" การดำเนินการของการประชุมยุโรปเกี่ยวกับวิสัยทัศน์คอมพิวเตอร์ (ECCV) 2018.

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด