pyskl下載pyskl源代碼下載

pyskl

Python

v0.2

下載

Pyskl

[報告]

PYSKL是一種工具箱，重點介紹了基於Py Torch的SK E L ETON數據的動作識別。基於骨架的動作識別將支持各種算法。我們基於OpenSource Project MMACTION2構建此項目2。

此存儲庫是PeSeconV3D和STGCN ++的官方實施。

左：NTU-RGB+D-1220上的骨骼基鹼作用識別結果；右：CPU實時骨架鹼手勢識別結果

更改日誌

改進骨架提取腳本（PR）。現在，它支持非分佈的骨骼提取和K400風格（ 2023-03-20 ）。
支持Pytorch 2.0：設置時--compile用於培訓/測試腳本的torch.__version__ >= 'v2.0.0' ，將使用torch.compile在培訓/測試之前對模型進行編譯。實驗功能，絕對沒有性能保修（ 2023-03-16 ）。
使用ST-GCN ++的基於骨架的動作識別提供實時手勢識別演示，請檢查演示以獲取更多詳細信息和說明（ 2023-02-10 ）。
提供腳本以估算每個模型的推理速度（ 2022-12-30 ）。
支持RGBPOSECONV3D，這是一種基於RGB和人類骨架的動作識別的兩流3D-CNN。遵循訓練和測試rgbposeconv3d在NTURGB+D （ 2022-12-29上的指南。

支持的算法

DG-STGCN（ARXIV）[modelzoo]
ST-GCN（AAAI 2018）[ModelZoo]
ST-GCN ++（ACMMM 2022）[ModelZoo]
pececonv3d（CVPR 2022口服）[modelzoo]
AAGCN（TIP）[modelzoo]
MS-G3D（CVPR 2020口服）[ModelZoo]
CTR-GCN（ICCV 2021）[ModelZoo]

支持的骨架數據集

安裝

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e .

演示

檢查演示。

數據準備

我們為支持NTURGB+D和NTURGB+D 120數據集的每個數據集提供HRNET 2D骨架。要獲取人類骨骼註釋，您可以：

使用我們的預處理骨架註釋：我們直接提供所有數據集的處理後的骨骼數據作為泡菜文件（可以直接用於培訓和測試），檢查數據文檔以獲取下載鏈接和註釋格式的描述。
對於NTURGB+D 3D骨架，您可以從https://github.com/shahroudy/nturgb-d下載官方註釋，並使用我們提供的腳本來生成已處理的泡菜文件。提供的ntu60_3danno.pkl和ntu120_3danno.pkl的生成文件相同。有關詳細說明，請遵循數據文檔。
我們還提供腳本以從RGB視頻中提取2D HRNET骨架，您可以按照Diving48_example從任意的RGB視頻數據集中提取2D骨架。

您可以使用vis_skeleton可視化提供的骨架數據。

培訓和測試

您可以使用以下命令進行培訓和測試。基本上，我們支持具有多個GPU的單個服務器上的分佈式培訓。

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

有關特定示例，請轉到我們支持的每種特定算法的讀數。

引用

如果您在研究中使用PYSKL或希望參考模型動物園中發布的基線結果，請使用以下Bibtex條目和與您使用的特定算法相對應的BIBTEX條目。

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}