pyskl

pyskl

[ รายงาน ]

Pyskl เป็นกล่องเครื่องมือที่มุ่งเน้นไปที่การจดจำการกระทำโดยใช้ข้อมูล SK E L Eton ด้วย Py Torch อัลกอริทึมต่างๆจะได้รับการสนับสนุนสำหรับการจดจำการกระทำตามโครงกระดูก เราสร้างโครงการนี้ตามโครงการ OpenSource MMACTION2

repo นี้เป็นการดำเนินการอย่างเป็นทางการของ Poseconv3D และ STGCN ++

ซ้าย: ผลการจดจำการกระทำของฐานโครงกระดูกใน NTU-RGB+D-120; ขวา: ซีพียูผลการจดจำท่าทางฐาน

เปลี่ยนบันทึก

• ปรับปรุงสคริปต์การสกัดโครงกระดูก (PR) ตอนนี้รองรับการสกัดโครงกระดูกที่ไม่กระจายและสไตล์ K400 ( 2023-03-20 )
• รองรับ Pytorch 2.0: เมื่อตั้งค่า --compile สำหรับการฝึกอบรม/ทดสอบสคริปต์และด้วย torch.__version__ >= 'v2.0.0' ที่ตรวจพบจะใช้ torch.compile เพื่อรวบรวมโมเดลก่อนการฝึกอบรม/การทดสอบ คุณสมบัติการทดลองไม่มีการรับประกันประสิทธิภาพอย่างแน่นอน ( 2023-03-16 )
• ให้การสาธิตการจดจำท่าทางแบบเรียลไทม์ตามการจดจำการกระทำตามโครงกระดูกด้วย ST-GCN ++ ตรวจสอบการสาธิตสำหรับรายละเอียดและคำแนะนำเพิ่มเติม ( 2023-02-10 )
• ให้สคริปต์เพื่อประเมินความเร็วการอนุมานของแต่ละรุ่น ( 2022-12-30 )
• สนับสนุน RGBPOSECONV3D 3D-CNN สองสตรีมสำหรับการรับรู้การกระทำโดยใช้ RGB และโครงกระดูกมนุษย์ ทำตามคำแนะนำในการฝึกอบรมและทดสอบ RGBPOSECONV3D บน NTURGB+D （ 2022-12-29 )

อัลกอริทึมที่รองรับ

• dg-stgcn (arxiv) [modelzoo]
• ST-GCN (Aaai 2018) [Modelzoo]
• ST-GCN ++ (ACMMM 2022) [Modelzoo]
• POSECONV3D (CVPR 2022 ORAL) [ModelZOO]
• aagcn (เคล็ดลับ) [Modelzoo]
• MS-G3D (CVPR 2020 Oral) [Modelzoo]
• CTR-GCN (ICCV 2021) [Modelzoo]

ชุดข้อมูลโครงกระดูกที่รองรับ

• NTURGB+D (CVPR 2016) และ NTURGB+D 120 (TPAMI 2019)
• จลนพลศาสตร์ 400 (CVPR 2017)
• UCF101 (Arxiv 2012)
• HMDB51 (ICCV 2021)
• Finegym (CVPR 2020)
• Diving48 (ECCV 2018)

การติดตั้ง

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e . 

การสาธิต

ตรวจสอบ Demo.MD

การเตรียมข้อมูล

เราให้บริการ Skeletons HRNET 2D สำหรับทุกชุดข้อมูลที่เราสนับสนุนและ Kinect 3D Skeletons สำหรับ NTURGB+D และ NTURGB+D 120 ชุดข้อมูล เพื่อให้ได้คำอธิบายประกอบโครงกระดูกของมนุษย์คุณสามารถ:

1. ใช้คำอธิบายประกอบโครงกระดูกที่ผ่านการประมวลผลล่วงหน้าของเรา: เราให้ข้อมูลโครงกระดูกที่ประมวลผลโดยตรงสำหรับชุดข้อมูลทั้งหมดเป็นไฟล์ดอง (ซึ่งสามารถใช้โดยตรงสำหรับการฝึกอบรมและการทดสอบ) ตรวจสอบเอกสารข้อมูลสำหรับลิงก์ดาวน์โหลดและคำอธิบายของรูปแบบคำอธิบายประกอบ
2. สำหรับ Skeletons NTURGB+D 3D คุณสามารถดาวน์โหลดคำอธิบายประกอบอย่างเป็นทางการได้จาก https://github.com/shahroudy/nturgb-d และใช้สคริปต์ที่เราให้ไว้เพื่อสร้างไฟล์ดองที่ประมวลผล ไฟล์ที่สร้างขึ้นจะเหมือนกันกับ ntu60_3danno.pkl และ ntu120_3danno.pkl สำหรับคำแนะนำโดยละเอียดให้ทำตาม Data Doc
3. นอกจากนี้เรายังมีสคริปต์เพื่อแยกโครงกระดูก HRNET 2D จากวิดีโอ RGB คุณสามารถติดตาม Diving48_Example เพื่อแยกโครงกระดูก 2D จากชุดข้อมูลวิดีโอ RGB โดยพลการ

คุณสามารถใช้ VIS_SKELETON เพื่อแสดงข้อมูลโครงกระดูกที่ให้ไว้

การฝึกอบรมและการทดสอบ

คุณสามารถใช้คำสั่งต่อไปนี้สำหรับการฝึกอบรมและการทดสอบ โดยทั่วไปเราสนับสนุนการฝึกอบรมแบบกระจายบนเซิร์ฟเวอร์เดียวที่มี GPU หลายตัว

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

สำหรับตัวอย่างเฉพาะโปรดไปที่ ReadMe สำหรับอัลกอริทึมเฉพาะแต่ละรายการที่เราสนับสนุน

การอ้างอิง

หากคุณใช้ PYSKL ในการวิจัยของคุณหรือต้องการอ้างถึงผลลัพธ์พื้นฐานที่เผยแพร่ในสวนสัตว์รุ่นโปรดใช้รายการ BIBTEX ต่อไปนี้และรายการ BIBTEX ที่สอดคล้องกับอัลกอริทึมเฉพาะที่คุณใช้

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

การบริจาค

Pyskl เป็นโครงการ OpenSource ภายใต้ใบอนุญาต Apache2 การมีส่วนร่วมใด ๆ จากชุมชนเพื่อปรับปรุง Pyskl ได้รับการชื่นชม สำหรับการมีส่วนร่วม ที่สำคัญ (เช่นการสนับสนุนงานนวนิยายและสำคัญ) ส่วนที่สอดคล้องกันจะถูกเพิ่มเข้าไปในรายงานเทคโนโลยีที่ได้รับการปรับปรุงของเราในขณะที่ผู้สนับสนุนจะถูกเพิ่มเข้าไปในรายชื่อผู้แต่ง

ผู้ใช้ใด ๆ สามารถเปิดประชาสัมพันธ์เพื่อสนับสนุน Pyskl PR จะได้รับการตรวจสอบก่อนที่จะถูกรวมเข้ากับสาขาหลัก หากคุณต้องการเปิดการประชาสัมพันธ์ ขนาดใหญ่ ใน PYSKL คุณจะได้รับการแนะนำให้ติดต่อฉันก่อน (ทางอีเมลของฉัน [email protected]) เพื่อหารือเกี่ยวกับการออกแบบซึ่งช่วยประหยัดเวลาจำนวนมากในขั้นตอนการตรวจสอบ

ติดต่อ

สำหรับคำถามใด ๆ โปรดติดต่อ: [email protected]