mmaction2
MMAction2 V1.2.0 Release
Документация | Установка | ? Модель зоопарка | ? Обновить новости | Продолжающиеся проекты | ? Проблемы отчетности
Английский | 简体中文
Ветвь по умолчанию была переключена на main (предыдущий 1.x ) с master (Current 0.x ), и мы рекомендуем пользователям перейти на последнюю версию с более поддерживаемыми моделями, более сильными контрольно-пропускными пунктами и более простым кодированием. Пожалуйста, обратитесь к руководству по миграции для получения более подробной информации.
Выпуск (2023.10.12) : v1.2.0 со следующими новыми функциями:
MMAction2-это набор инструментов с открытым исходным кодом для понимания видео на основе Pytorch. Это часть проекта OpenMMLAB.
Распознавание действий на кинетике-400 (слева) и распознавание действий на основе скелета на NTU-RGB+D-120 (справа)
Результаты обнаружения и распознавания действий на основе скелета на Kinetics-400
Пространственные результаты обнаружения действий по Ava-2.1
Модульный дизайн : мы разлагаем структуру понимания видео на различные компоненты. Можно легко построить индивидуальную структуру понимания видео, объединив различные модули.
Поддержите пять основных задач понимания видео : MMAction2 реализует различные алгоритмы для нескольких задач понимания видео, включая распознавание действий, локализацию действий, пространственно-временное обнаружение действий, обнаружение действий на основе скелета и поиск видео.
Хорошо протестированные и документированные : мы предоставляем подробную документацию и ссылку на API, а также модульные тесты.
MMAction2 зависит от Pytorch, MMCV, Mmengine, MMDetection (необязательно) и MMPope (необязательно).
Пожалуйста, обратитесь к Install.md для подробных инструкций.
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . Результаты и модели доступны в модельном зоопарке.
| Признание действий | ||||
| C3D (CVPR'2014) | TSN (ECCV'2016) | I3d (CVPR'2017) | C2D (CVPR'2018) | I3D не локальный (CVPR'2018) |
| R (2+1) D (CVPR'2018) | TRN (ECCV'2018) | TSM (ICCV'2019) | TSM не локальный (ICCV'2019) | Медленно (ICCV'2019) |
| Медленно (ICCV'2019) | CSN (ICCV'2019) | Олово (aaai'2020) | TPN (CVPR'2020) | X3d (CVPR'2020) |
| Мультимодальность: аудио (arxiv'2020) | Танет (arxiv'2020) | Timesformer (ICML'2021) | ActionClip (arxiv'2021) | Videoswin (CVPR'2022) |
| Videomae (Neurips'2022) | MVIT V2 (CVPR'2022) | Uniformer v1 (ICLR'2022) | Uniformer v2 (arxiv'2022) | Videomae v2 (CVPR'2023) |
| Локализация действий | ||||
| BSN (ECCV'2018) | BMN (ICCV'2019) | TCANET (CVPR'2021) | ||
| Пространственно-временное обнаружение действий | ||||
| ACRN (ECCV'2018) | Slowonly+Fast R-CNN (ICCV'2019) | Медленный+быстрый R-CNN (ICCV'2019) | LFB (CVPR'2019) | Videomae (Neurips'2022) |
| Распознавание действий на основе скелета | ||||
| ST-GCN (AAAI'2018) | 2S-AGCN (CVPR'2019) | Posec3d (cvpr'2022) | Stgcn ++ (arxiv'2022) | Ctrgcn (CVPR'2021) |
| MSG3D (CVPR'2020) | ||||
| Видео -поиск | ||||
| Clip4clip (arxiv'2022) | ||||
| Признание действий | |||
| HMDB51 (домашняя страница) (ICCV'2011) | UCF101 (домашняя страница) (CRCV-IR-12-01) | ActivityNet (HomePage) (CVPR'2015) | Кинетика-[400/600/700] (домашняя страница) (CVPR'2017) |
| STHV1 (ICCV'2017) | STHV2 (домашняя страница) (ICCV'2017) | Diving48 (домашняя страница) (ECCV'2018) | Шута (домашняя страница) (ICCV'2019) |
| Моменты времени (домашняя страница) (TPAMI'2019) | Многомерные во времени (домашняя страница) (arxiv'2019) | HVU (домашняя страница) (ECCV'2020) | OmniSource (домашняя страница) (ECCV'2020) |
| Finegym (домашняя страница) (CVPR'2020) | Кинетика-710 (домашняя страница) (arxiv'2022) | ||
| Локализация действий | |||
| Thumos14 (домашняя страница) (Thumos Challenge 2014) | ActivityNet (HomePage) (CVPR'2015) | HACS (домашняя страница) (ICCV'2019) | |
| Пространственно-временное обнаружение действий | |||
| UCF101-24* (домашняя страница) (CRCV-IR-12-01) | JHMDB* (домашняя страница) (ICCV'2015) | Ava (домашняя страница) (CVPR'2018) | Ava-kinetics (домашняя страница) (arxiv'2020) |
| Multisports (домашняя страница) (ICCV'2021) | |||
| Распознавание действий на основе скелета | |||
| Posec3d-finegym (домашняя страница) (arxiv'2021) | Posec3d-nturgb+d (домашняя страница) (arxiv'2021) | Posec3d-ucf101 (домашняя страница) (arxiv'2021) | Posec3d-hmdb51 (домашняя страница) (arxiv'2021) |
| Видео -поиск | |||
| MSRVTT (домашняя страница) (CVPR'2016) | |||
Для учебных пособий мы предоставляем следующие руководства пользователя для базового использования:
Этот проект выпущен по лицензии Apache 2.0.
Если вы найдете этот проект полезным в своем исследовании, пожалуйста, рассмотрите цит: CITE:
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}Мы ценим все вклады для улучшения MMAction2. Пожалуйста, обратитесь к Anforming.md в MMCV для получения более подробной информации о руководстве.
MMAction2-это проект с открытым исходным кодом, который вносится исследователи и инженеры из различных колледжей и компаний. Мы ценим всех участников, которые реализуют свои методы или добавляют новые функции и пользователей, которые дают ценные отзывы. Мы желаем, чтобы инструментальный ящик и эталон могли обслуживать растущее исследовательское сообщество, предоставив гибкий инструментарий для повторного представления существующих методов и разработки своих новых моделей.
