Téléchargement pyskl - Téléchargement du code source pyskl

pyskl

Python

v0.2

Télécharger

Pyskl

[ Rapport ]

Pyskl est une boîte à outils axée sur la reconnaissance d'action basée sur les données de sk e l eton avec Py Torch. Divers algorithmes seront pris en charge pour la reconnaissance d'action basée sur le squelette. Nous construisons ce projet en fonction du projet OpenSource MMAction2.

Ce dépôt est la mise en œuvre officielle de PosEConv3d et STGCN ++.

Gauche: résultats de reconnaissance d'action de base squelette sur NTU-RGB + D-120; Droite: CPU Résultats de reconnaissance des gestes de base squelette en temps réel

Modifier le journal

Améliorer le script d'extraction du squelette (PR). Maintenant, il prend en charge l'extraction du squelette non distribuée et le style K400 ( 2023-03-20 ).
Prise en charge de Pytorch 2.0: lors de la définition --compile pour les scripts de formation / test et avec torch.__version__ >= 'v2.0.0' détecté, utilisera torch.compile pour compiler le modèle avant la formation / les tests. Caractéristique expérimentale, absolument aucune garantie de performance ( 2023-03-16 ).
Fournissez une démo de reconnaissance des gestes en temps réel basé sur la reconnaissance d'action basée sur le squelette avec ST-GCN ++, vérifiez la démo pour plus de détails et d'instructions ( 2023-02-10 ).
Fournir des scripts pour estimer la vitesse d'inférence de chaque modèle ( 2022-12-30 ).
Prise en charge de RGBPOSECONV3D, un 3D-CNN à deux voies pour la reconnaissance d'action basée sur RVB & Human Skeleton. Suivez le guide pour former et tester RGBPOSECONV3D sur NTURGB + D （ 2022-12-29 ).

Algorithmes pris en charge

DG-STGCN (ARXIV) [ModelZoo]
ST-GCN (AAAI 2018) [Modelzoo]
ST-GCN ++ (ACMMM 2022) [ModelZoo]
POSECONV3D (CVPR 2022 ORAL) [ModelZoo]
AAGCN (TIP) [ModelZoo]
MS-G3D (CVPR 2020 ORAL) [ModelZoo]
CTR-GCN (ICCV 2021) [ModelZoo]

Ensembles de données squelettes pris en charge

Installation

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e .

Démo

Vérifiez Demo.md.

Préparation des données

Nous fournissons des squelettes HRNET 2D pour chaque ensemble de données que nous avons pris en charge et Kinect 3D Skeletons pour l'ensemble de données NTURGB + D et NTURGB + D 120. Pour obtenir les annotations du squelette humain, vous pouvez:

Utilisez nos annotations squelettes prétraitées: nous fournissons directement les données de squelette traitées pour tous les ensembles de données en tant que fichiers Pickle (qui peuvent être directement utilisés pour la formation et les tests), consultez Data Doc pour les liens de téléchargement et les descriptions du format d'annotation.
Pour les squelettes NTURGB + D 3D, vous pouvez télécharger les annotations officielles à partir de https://github.com/shahroudy/nturgb-d, et utiliser notre script fourni pour générer les fichiers de cornichon traités. Les fichiers générés sont les mêmes avec le ntu60_3danno.pkl et ntu120_3danno.pkl . Pour des instructions détaillées, suivez les données DOC.
Nous fournissons également des scripts pour extraire les squelettes HRNET 2D à partir de vidéos RVB, vous pouvez suivre le Diving48_Example pour extraire des squelettes 2D à partir d'un ensemble de données vidéo RVB arbitraire.

Vous pouvez utiliser Vis_skeleton pour visualiser les données squelettes fournies.

Formation et tests

Vous pouvez utiliser les commandes suivantes pour la formation et les tests. Fondamentalement, nous prenons en charge la formation distribuée sur un seul serveur avec plusieurs GPU.

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

Pour des exemples spécifiques, veuillez vous rendre à la lecture pour chaque algorithme spécifique que nous avons pris en charge.

Citation

Si vous utilisez PYSKL dans votre recherche ou si vous souhaitez vous référer aux résultats de base publiés dans le Model Zoo, veuillez utiliser l'entrée Bibtex suivante et l'entrée Bibtex correspondant à l'algorithme spécifique que vous avez utilisé.

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

Contributif

Pyskl est un projet OpenSource sous la licence Apache2. Toute contribution de la communauté pour améliorer le PYSKL est appréciée. Pour des contributions importantes (comme soutenir une nouvelle tâche importante et importante), une partie correspondante sera ajoutée à notre rapport technologique mis à jour, tandis que le contributeur sera également ajouté à la liste des auteurs.

Tout utilisateur peut ouvrir un PR pour contribuer à Pyskl. Le PR sera examiné avant d'être fusionné dans la branche principale. Si vous souhaitez ouvrir un grand PR à Pyskl, il vous est recommandé de me joindre (via mon e-mail [email protected]) pour discuter de la conception, ce qui permet d'économiser une grande quantité de temps au stade de révision.