pyskl -Download - pyskl Quellcode Download

pyskl

Python

v0.2

Herunterladen

Pyskl

[ Bericht ]

PYSKL ist eine Toolbox, die sich auf die Aktionserkennung basierend auf den Daten mit Py -Torch konzentriert. Verschiedene Algorithmen werden für die Aktionserkennung auf Skelettbasis unterstützt. Wir erstellen dieses Projekt basierend auf dem OpenSource -Projekt MMACTION2.

Dieses Repo ist die offizielle Implementierung von POSECONV3D und STGCN ++.

Links: Ergebnisse der Skelett-Basis-Aktionserkennung von NTU-RGB+D-120; Recht

Protokoll ändern

Verbesserung der Skelett -Extraktionskript (PR). Jetzt unterstützt es eine nicht verteilte Skelett-Extraktion und K400-Art ( 2023-03-20 ).
Unterstützen Sie PyTorch 2.0: Wenn Sie festgelegt sind --compile für Trainings-/Testskripte und mit torch.__version__ >= 'v2.0.0' erkannt, verwendet torch.compile , um das Modell vor dem Training/Test zu kompilieren. Experimentelles Merkmal, absolut keine Leistungsgarantie ( 2023-03-16 ).
Geben Sie eine Echtzeit-Gestenerkennungsdemo an, die auf Skelett-basierten Aktionserkennung mit ST-GCN ++ basiert. Weitere Informationen und Anweisungen ( 2023-02-10 ) finden Sie die Demo.
Stellen Sie Skripte zur Verfügung, um die Inferenzgeschwindigkeit jedes Modells ( 2022-12-30 ) abzuschätzen.
Unterstützen Sie RGBPOSECONV3D, ein Zwei-Stream-3D-CNN zur Aktionserkennung auf der Grundlage von RGB & Human Skelett. Folgen Sie dem Leitfaden zum Training und Testen von RGBPOSECONV3D auf Nturgb+D （ 2022-12-29 ).

Unterstützte Algorithmen

DG-STGCN (ARXIV) [Modellzoo]
ST-GCN (AAAI 2018) [Modelzoo]
ST-GCN ++ (ACMMM 2022) [ModellZoo]
POSECONV3D (CVPR 2022 Oral) [Modelzoo]
AAGCN (TIPP) [modelzoo]
MS-G3D (CVPR 2020 Oral) [Modelzoo]
CTR-GCN (ICCV 2021) [ModellZoo]

Unterstützte Skelettdatensätze

Installation

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e .

Demo

Überprüfen Sie Demo.md.

Datenvorbereitung

Wir stellen HRNET 2D -Skelette für jeden Datensatz an, den wir unterstützt haben, und Kinect 3D -Skelette für den Datensatz Nturgb+D und Nturgb+D 120. Um die Annotationen des menschlichen Skeletts zu erhalten, können Sie:

Verwenden Sie unsere vorverarbeiteten Skelettanmerkungen: Wir stellen die verarbeiteten Skelettdaten für alle Datensätze als Gurkendateien (die direkt zum Training und Test verwendet werden können) direkt an.
Für NTURGB+D 3D-Skelette können Sie die offiziellen Anmerkungen von https://github.com/shahroudy/nturgb-d herunterladen und unser bereitgestelltes Skript verwenden, um die verarbeiteten Pickle-Dateien zu generieren. Die generierten Dateien sind gleich mit dem bereitgestellten ntu60_3danno.pkl und ntu120_3danno.pkl . Ausführliche Anweisungen finden Sie im Datendokument.
Wir stellen auch Skripte zur Extraktion von 2D -HRNET -Skeletten aus RGB -Videos an.

Sie können Vis_Skeletton verwenden, um die bereitgestellten Skelettdaten zu visualisieren.

Training & Tests

Sie können folgende Befehle zum Training und Test verwenden. Grundsätzlich unterstützen wir verteilte Schulungen auf einem einzelnen Server mit mehreren GPUs.

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

Für bestimmte Beispiele gehen Sie für jeden von uns unterstützten spezifischen Algorithmus zum Readme.

Zitat

Wenn Sie PYSKL in Ihrer Forschung verwenden oder sich auf die im Modellzoo veröffentlichten Baseline -Ergebnisse beziehen möchten, verwenden Sie bitte den folgenden Bibtex -Eintrag und den Bibtex -Eintrag, der dem spezifischen Algorithmus entspricht, den Sie verwendet haben.

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

Beitragen

Pyskl ist ein OpenSource -Projekt unter der Apache2 -Lizenz. Jeder Beitrag der Gemeinschaft zur Verbesserung von Pyskl wird geschätzt. Für signifikante Beiträge (wie die Unterstützung einer neuartigen und wichtigen Aufgabe) wird unser aktualisierter Tech -Bericht ein entsprechender Teil hinzugefügt, während der Mitarbeiter auch der Autor -Liste hinzugefügt wird.

Jeder Benutzer kann einen PR öffnen, um zu Pyskl beizutragen. Die PR wird überprüft, bevor er in den Master -Zweig zusammengefasst wird. Wenn Sie eine große PR in Pyskl eröffnen möchten, werden Sie empfohlen, mich zunächst zu erreichen (per E -Mail [email protected]), um das Design zu besprechen, das dazu beiträgt, in der Überprüfungsstufe große Zeit zu sparen.