pyskl

Пискл

[ Отчет ]

PYSKL - это набор инструментов, посвященный распознаванию действий на основе данных SK E L Eton с помощью Torch . Различные алгоритмы будут поддерживать для распознавания действий на основе скелета. Мы строим этот проект на основе проекта OpenSource MMAction2.

Это репо является официальной реализацией PoseConv3D и STGCN ++.

Слева: результаты распознавания действий скелетной базы на NTU-RGB+D-120; Справа: результаты распознавания жестов в реальном времени в реальном времени

Изменить журнал

• Улучшить скрипт извлечения скелета (PR). Теперь он поддерживает не распределенную извлечение скелета и стиль K400 ( 2023-03-20 ).
• Поддержка Pytorch 2.0: при установке --compile для обучения/тестирования сценариев и с помощью torch.__version__ >= 'v2.0.0' обнаружено, будет использовать torch.compile для составления модели перед обучением/тестированием. Экспериментальная функция, абсолютно без гарантии на производительность ( 2023-03-16 ).
• Предоставьте демонстрацию распознавания жестов в реальном времени, основанную на распознавании действий на основе скелетов с ST-GCN ++, проверьте Demo для получения дополнительной информации и инструкций ( 2023-02-10 ).
• Предоставьте сценарии для оценки скорости вывода каждой модели ( 2022-12-30 ).
• Поддержите RGBPOSECONV3D, двухсторонний 3D-CNN для распознавания действий, основанный на RGB и человеческом скелете. Следуйте руководству по обучению и тестированию rgbposeconv3d на nturgb+d ( 2022-12-29 ).

Поддерживаемые алгоритмы

• Dg-stgcn (arxiv) [modelzoo]
• ST-GCN (AAAI 2018) [MODELZOO]
• ST-GCN ++ (ACMMM 2022) [MODELZOO]
• Poseconv3d (CVPR 2022 Oral) [Modelzoo]
• AAGCN (TIP) [MODELZOO]
• MS-G3D (CVPR 2020 ORAL) [MODELZOO]
• CTR-GCN (ICCV 2021) [Modelzoo]

Поддерживаемые скелетные наборы данных

• Nturgb+D (CVPR 2016) и Nturgb+D 120 (TPAMI 2019)
• Кинетика 400 (CVPR 2017)
• UCF101 (ARXIV 2012)
• HMDB51 (ICCV 2021)
• Finegym (CVPR 2020)
• Diving48 (ECCV 2018)

Установка

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e . 

Демо

Проверьте Demo.md.

Подготовка данных

Мы предоставляем 2D -скелеты HRNet для каждого набора данных, который мы поддерживали, и Kinect 3D -скелеты для набора данных NTURGB+D и NTURGB+D 120. Чтобы получить аннотации человеческого скелета, вы можете:

1. Используйте наши предварительно обработанные скелетные аннотации: мы напрямую предоставляем обработанные данные скелета для всех наборов данных в качестве файлов Pickle (которые можно напрямую использовать для обучения и тестирования), проверьте DAC DOC для ссылок загрузки и описания формата аннотации.
2. Для Nturgb+D 3D Skeletons вы можете скачать официальные аннотации с https://github.com/shahroudy/nturgb-d и использовать наш предоставленный скрипт для создания обработанных файлов рассола. Сгенерированные файлы одинаковы с предоставленным ntu60_3danno.pkl и ntu120_3danno.pkl . Для получения подробных инструкций следуйте документу данных.
3. Мы также предоставляем сценарии для извлечения 2D -скелетов HRNet из видео RGB, вы можете следить за Diving48_example, чтобы извлечь 2D -скелеты из произвольного видео -данных RGB.

Вы можете использовать Vis_skeleton для визуализации предоставленных данных скелета.

Обучение и тестирование

Вы можете использовать следующие команды для обучения и тестирования. По сути, мы поддерживаем распределенную подготовку на одном сервере с несколькими графическими процессорами.

 # Training
bash tools/dist_train.sh {config_name} {num_gpus} {other_options}
# Testing
bash tools/dist_test.sh {config_name} {checkpoint} {num_gpus} --out {output_file} --eval top_k_accuracy mean_class_accuracy

Для конкретных примеров, пожалуйста, перейдите в ReadMe для каждого конкретного алгоритма, который мы поддерживали.

Цитирование

Если вы используете PYSKL в своем исследовании или хотите ссылаться на базовые результаты, опубликованные в модельном зоопарке, используйте следующую запись Bibtex и запись Bibtex, соответствующую конкретному алгоритму, который вы использовали.

 @inproceedings { duan2022pyskl ,
  title = { Pyskl: Towards good practices for skeleton action recognition } ,
  author = { Duan, Haodong and Wang, Jiaqi and Chen, Kai and Lin, Dahua } ,
  booktitle = { Proceedings of the 30th ACM International Conference on Multimedia } ,
  pages = { 7351--7354 } ,
  year = { 2022 }
}

Внося

PYSKL является проектом OpenSource по лицензии Apache2. Любой вклад сообщества в улучшение PYSKL ценится. Для значительных вкладов (например, поддержки новой и важной задачи), соответствующая часть будет добавлена в наш обновленный технологический отчет, в то время как участник также будет добавлен в список авторов.

Любой пользователь может открыть PR, чтобы внести свой вклад в PYSKL. PR будет рассмотрен, прежде чем быть объединенным в главную филиал. Если вы хотите открыть большой PR в PYSKL, вам рекомендуется сначала связаться со мной (по электронной почте [email protected]) обсудить дизайн, который помогает сэкономить большое количество времени на этапе рецензирования.

Контакт

По любым вопросам, не стесняйтесь связаться: [email protected]