تريد اكتشاف يديك؟ تحقق من مشروع TRT_POSE_HALH الجديد للحصول على تعاطي اليد في الوقت الفعلي والتعرف على الإيماءات!

تهدف TRT_POSE إلى تمكين تقدير العرض في الوقت الفعلي على NVIDIA Jetson. قد تجدها مفيدة لمنصات Nvidia الأخرى أيضًا. يشمل المشروع حاليًا
نماذج مدربة مسبقًا لتقدير الوضع البشري القادر على الجري في الوقت الفعلي على Jetson Nano. هذا يجعل من السهل اكتشاف ميزات مثل left_eye ، left_elbow ، right_ankle ، إلخ.
تدريب البرامج النصية للتدريب على أي بيانات مهمة Keypoint بتنسيق MSCOCO. هذا يعني أنه يمكنك تجربة تدريب TRT_POSE لمهام الكشف عن مفاتيح المفاتيح بخلاف الوضع البشري.
للبدء ، اتبع التعليمات أدناه. إذا واجهت أي مشكلات ، فيرجى إخبارنا بذلك.
للبدء مع TRT_POSE ، اتبع هذه الخطوات.
تثبيت pytorch و torchvision. للقيام بذلك على Nvidia Jetson ، نوصي باتباع هذا الدليل
تثبيت Torch2trt
git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
cd torch2trt
sudo python3 setup . py install - - pluginsتثبيت حزم متنوعة أخرى
sudo pip3 install tqdm cython pycocotools
sudo apt - get install python3 - matplotlib git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py installنحن نقدم اثنين من نماذج تقدير تشكل البشرية تدرب مسبقا على مجموعة بيانات MSCOCO. يتم عرض الإنتاجية في FPS لكل منصة
| نموذج | جيتسون نانو | جيتسون كزافييه | الأوزان |
|---|---|---|---|
| resnet18_baseline_att_224x224_a | 22 | 251 | تنزيل (81 ميجابايت) |
| densenet121_baseline_att_256x256_b | 12 | 101 | تنزيل (84 ميجابايت) |
لتشغيل عرض دفتر Notebook Live Jupyter على إدخال الكاميرا في الوقت الفعلي ، اتبع هذه الخطوات
قم بتنزيل أوزان النموذج باستخدام الرابط في الجدول أعلاه.
ضع الأوزان التي تم تنزيلها في دليل المهام/Human_Pose
افتح واتبع دفتر الملاحظات live_demo.ipynb
قد تحتاج إلى تعديل دفتر الملاحظات ، اعتمادًا على النموذج الذي تستخدمه
TRT_POSE_HALH - تقدير يدوي في الوقت الفعلي على أساس TRT_POSE
Torch2trt - سهلة الاستخدام Pytorch إلى محول Tensorrt
Jetbot - روبوت منظمة العفو الدولية التعليمية على أساس Nvidia Jetson Nano
Jetracer - سيارة سباق AI التعليمية باستخدام Nvidia Jetson Nano
Jetcam - واجهة كاميرا Python سهلة الاستخدام لـ Nvidia Jetson
تستوحى بنيات طراز TRT_POSE المذكورة أعلاه من الأعمال التالية ، ولكنها ليست نسخة طبق الأصل مباشرة. يرجى مراجعة رمز المفتوح وملفات التكوين في هذا المستودع لتفاصيل الهندسة المعمارية. إذا كان لديك أي أسئلة ، فلا تتردد في التواصل.
CAO ، Zhe ، وآخرون. "في الوقت الفعلي 2D 2D Pose التقدير باستخدام حقول التقارب جزء." وقائع مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط. 2017.
شياو ، بن ، هايبينج وو ، ويشين وي. "خطوط أساسية بسيطة لتقدير تشكل البشرية وتتبعها." وقائع المؤتمر الأوروبي حول رؤية الكمبيوتر (ECCV). 2018.