pyskl 다운로드 pyskl 소스 코드 다운로드

pyskl

파이썬

v0.2

다운로드

pyskl

[ 보고서 ]

PYSKL은 Py Torch가있는 Sk e L Eton 데이터를 기반으로하는 작업 인식에 중점을 둔 도구 상자입니다. 골격 기반 동작 인식을 위해 다양한 알고리즘이 지원됩니다. 우리는 OpenSource Project MMAction2를 기반 으로이 프로젝트를 구축합니다.

이 repo는 PoseConv3D 및 STGCN ++의 공식 구현입니다.

왼쪽 : NTU-RGB+D-120에서 골격 염기 조치 인식 결과; 오른쪽 : CPU 실시간 골격베이스 제스처 인식 결과

로그 변경

골격 추출 스크립트 (PR) 향상. 이제 비 분산 골격 추출 및 K400 스타일 ( 2023-03-20 )을 지원합니다.
Pytorch 2.0 지원 : 교육/테스트 스크립트 및 Torch를위한 --compile 설정하면 torch.__version__ >= 'v2.0.0' 감지 된 경우 torch.compile 사용하여 교육/테스트 전에 모델을 컴파일합니다. 실험 기능, 절대적으로 성능 보증 ( 2023-03-16 ).
ST-GCN ++의 골격 기반 액션 인식을 기반으로 실시간 제스처 인식 데모를 제공하고 자세한 내용 및 지침 ( 2023-02-10 )을 확인하십시오.
각 모델의 추론 속도 ( 2022-12-30 )를 추정하기위한 스크립트를 제공하십시오.
RGB 및 인간 골격을 기반으로하는 작업 인식을위한 2 스트림 3D-CNN 인 RGBPOSECONV3D를 지원합니다. NTURGB+D ( 2022-12-29 )에서 RGBPOSECONV3D를 훈련하고 테스트하려면 안내서를 따르십시오.

지원되는 알고리즘

DG-STGCN (ARXIV) [Modelzoo]
ST-GCN (AAAI 2018) [Modelzoo]
ST-GCN ++ (ACMMM 2022) [Modelzoo]
poseconv3d (CVPR 2022 구강) [Modelzoo]
AAGCN (팁) [Modelzoo]
MS-G3D (CVPR 2020 Oral) [Modelzoo]
CTR-GCN (ICCV 2021) [Modelzoo]

지원되는 골격 데이터 세트

설치

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e .

데모

Demo.md를 확인하십시오.

데이터 준비

우리는 우리가 지원하는 모든 데이터 세트에 대해 HRNET 2D 골격을 제공하고 NTURGB+D 및 NTURGB+D 120 데이터 세트에 대해 3D 골격을 Kinect합니다. 인간 골격 주석을 얻으려면 다음을 수행 할 수 있습니다.

사전 처리 된 골격 주석을 사용하십시오. 모든 데이터 세트에 대한 처리 된 골격 데이터를 피클 파일 (교육 및 테스트에 직접 사용할 수 있음)으로 직접 제공하고 Data Doc을 다운로드 링크 및 주석 형식의 설명을 확인하십시오.
NTURGB+D 3D 골격의 경우 https://github.com/shahroudy/nturgb-d에서 공식 주석을 다운로드하고 제공된 스크립트를 사용하여 처리 된 피클 파일을 생성 할 수 있습니다. 생성 된 파일은 제공된 ntu60_3danno.pkl 및 ntu120_3danno.pkl 과 동일합니다. 자세한 지침은 데이터 문서를 따르십시오.
또한 RGB 비디오에서 2D HRNET 골격을 추출하는 스크립트를 제공합니다. Diving48_Example을 따라 임의의 RGB 비디오 데이터 세트에서 2D 골격을 추출 할 수 있습니다.

Vis_Skeleton을 사용하여 제공된 골격 데이터를 시각화 할 수 있습니다.

교육 및 테스트

교육 및 테스트를 위해 다음 명령을 사용할 수 있습니다. 기본적으로 여러 GPU가있는 단일 서버에서 분산 교육을 지원합니다.

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

구체적인 예는 우리가 지원하는 각 특정 알고리즘에 대해 readme로 이동하십시오.

소환

연구에서 PYSKL을 사용하거나 모델 동물원에 게시 된 기준 결과를 참조하려면 다음 Bibtex 항목과 사용한 특정 알고리즘에 해당하는 Bibtex 항목을 사용하십시오.

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

기여

PYSKL은 APACHE2 라이센스에 따른 OpenSource 프로젝트입니다. PYSKL을 개선하기 위해 지역 사회의 모든 기여도에 감사드립니다. 상당한 기여 (소설 및 중요한 작업 지원)를 위해, 해당 부분이 업데이트 된 기술 보고서에 추가되며, 기여자도 저자 목록에 추가됩니다.

모든 사용자는 PYSKL에 기여하기 위해 PR을 열 수 있습니다. PR은 마스터 지점에 병합되기 전에 검토됩니다. pyskl에서 큰 PR을 열려면 먼저 내 이메일 [email protected]을 통해 저에게 도달하여 디자인을 논의하는 것이 좋습니다. 이는 검토 단계에서 많은 시간을 절약하는 데 도움이됩니다.