pyskl

pyskl

[ تقرير ]

Pyskl هو صندوق أدوات يركز على التعرف على الإجراءات استنادًا إلى بيانات Sk e l eton مع Torch Py . سيتم دعم الخوارزميات المختلفة للتعرف على العمل القائم على الهيكل العظمي. نقوم ببناء هذا المشروع بناءً على مشروع OpenSource MmAction2.

هذا الريبو هو التنفيذ الرسمي لـ POSECONV3D و STGCN ++.

اليسار: نتائج التعرف على عمل الهيكل العظمي على NTU-RGB+D-120 ؛ اليمين: CPU Realtime Heledon Heledon-Base Besture Results

تغيير السجل

• تحسين البرنامج النصي لاستخراج الهيكل العظمي (PR). الآن يدعم استخراج الهيكل العظمي غير الموزعة ونمط K400 ( 2023-03-20 ).
• دعم Pytorch 2.0: عند تعيين --compile عن البرامج النصية للتدريب/الاختبار ومع torch.__version__ >= 'v2.0.0' torch.compile ميزة تجريبية ، على الإطلاق لا يوجد ضمان للأداء ( 2023-03-16 ).
• قم بتوفير عرض توضيحي في الوقت الفعلي على الإيماءات استنادًا إلى التعرف على الإجراء القائم على الهيكل العظمي مع ST-GCN ++ ، تحقق من العرض التوضيحي لمزيد من التفاصيل والتعليمات ( 2023-02-10 ).
• توفير البرامج النصية لتقدير سرعة الاستنتاج لكل نموذج ( 2022-12-30 ).
• دعم RGBPOSECONV3D ، وهو 3D-CNN ثلاثي الأبعاد للتعرف على العمل على أساس RGB والهيكل العظمي البشري. اتبع دليل تدريب واختبار RGBPOSECONV3D على NTURGB+D （ 2022-12-29 ).

خوارزميات مدعومة

• DG-STGCN (ARXIV) [ModelZoo]
• ST-GCN (AAAI 2018) [ModelZoo]
• ST-GCN ++ (ACMMM 2022) [ModelZoo]
• poseconv3d (CVPR 2022 عن طريق الفم) [modelzoo]
• AAGCN (نصيحة) [ModelZoo]
• MS-G3D (CVPR 2020 عن طريق الفم) [ModelZoo]
• CTR-GCN (ICCV 2021) [ModelZoo]

مدعومة مجموعات بيانات الهيكل العظمي

• Nturgb+D (CVPR 2016) و Nturgb+D 120 (Tpami 2019)
• Kinetics 400 (CVPR 2017)
• UCF101 (Arxiv 2012)
• HMDB51 (ICCV 2021)
• Finegym (CVPR 2020)
• Diving48 (ECCV 2018)

تثبيت

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e . 

العرض التوضيحي

تحقق من Demo.Md.

إعداد البيانات

نحن نقدم هياكل عظمية HRNET 2D لكل مجموعة بيانات قمنا بدعمها و kinect هياكل عظمية ثلاثية الأبعاد لمجموعة بيانات NTURGB+D و NTURGB+D 120. للحصول على تعليقات الهيكل العظمي البشري ، يمكنك:

1. استخدم التعليقات التوضيحية للهيكل العظمي المسبق الخاص بنا: نحن نقدم مباشرة بيانات الهيكل العظمي المعالج لجميع مجموعات البيانات كملفات المخلل (والتي يمكن استخدامها مباشرة للتدريب والاختبار) ، والتحقق من مستند البيانات لروابط التنزيل وأوصاف تنسيق التعليقات التوضيحية.
2. بالنسبة إلى NTURGB+D 3D Skelectons ، يمكنك تنزيل التعليقات التوضيحية الرسمية من https://github.com/shahroudy/nturgb-- ، واستخدم البرنامج النصي الخاص بنا لإنشاء ملفات المخلل المعالجة. الملفات التي تم إنشاؤها هي نفسها مع ntu60_3danno.pkl و ntu120_3danno.pkl . للحصول على تعليمات مفصلة ، اتبع مستند البيانات.
3. نحن نقدم أيضًا البرامج النصية لاستخراج الهياكل العظمية ثنائية الأبعاد من مقاطع الفيديو RGB ، يمكنك متابعة Diving48_example لاستخراج الهياكل العظمية ثنائية الأبعاد من مجموعة بيانات فيديو RGB تعسفية.

يمكنك استخدام Vis_skeleton لتصور بيانات الهيكل العظمي المقدم.

التدريب والاختبار

يمكنك استخدام الأوامر التالية للتدريب والاختبار. في الأساس ، نحن ندعم التدريب الموزع على خادم واحد مع وحدات معالجة الرسومات المتعددة.

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

للحصول على أمثلة محددة ، يرجى الانتقال إلى ReadMe لكل خوارزمية محددة دعمناها.

اقتباس

إذا كنت تستخدم PYSKL في بحثك أو ترغب في الرجوع إلى نتائج خط الأساس المنشورة في حديقة حيوان Model ، فيرجى استخدام إدخال Bibtex التالي وإدخال Bibtex المقابل للخوارزمية المحددة التي استخدمتها.

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

المساهمة

Pyskl هو مشروع OpenSource بموجب ترخيص Apache2. أي مساهمة من المجتمع لتحسين pyskl موضع تقدير. للحصول على مساهمات كبيرة (مثل دعم مهمة جديدة ومهمة) ، سيتم إضافة جزء مماثل إلى تقريرنا التقني المحدث ، بينما سيتم إضافة المساهم أيضًا إلى قائمة المؤلف.

يمكن لأي مستخدم فتح العلاقات العامة للمساهمة في PYSKL. سيتم مراجعة العلاقات العامة قبل دمجها في الفرع الرئيسي. إذا كنت ترغب في فتح علاقات عامة كبيرة في Pyskl ، يوصى بالوصول إلي أولاً (عبر البريد الإلكتروني الخاص بي [email protected]) لمناقشة التصميم ، مما يساعد على توفير كميات كبيرة من الوقت في مرحلة المراجعة.

اتصال

لأي أسئلة ، لا تتردد في الاتصال: [email protected]