mmaction2
MMAction2 V1.2.0 Release
文档|安装| ？模型动物园| ？更新新闻|正在进行的项目|报告问题
英语| 简体中文
默认分支已从main （当前1.x ）切换为master （前0.x ），我们鼓励用户迁移到最新版本，并具有更多支持的模型，更强的预训练检查点和更简单的编码。请参阅迁移指南以获取更多详细信息。
发行版（2023.10.12） ：v1.2.0具有以下新功能：
MMACTION2是一个开源工具箱，用于基于Pytorch的视频理解。它是OpenMMLAB项目的一部分。
Kinetics-400（左）和基于骨架的动作识别的动作识别在NTU-RGB+D-120（右）上
基于骨架的时空动作检测和动作识别结果-400
AVA-2.1的时空作用检测结果
模块化设计：我们将视频理解框架分解为不同的组件。可以通过组合不同的模块来轻松构建自定义的视频理解框架。
支持五个主要的视频理解任务：MMACTION2实现了多种视频理解任务的各种算法，包括动作识别，动作定位，时空动作检测，基于骨架的动作检测和视频检索。
经过良好的测试和记录：我们提供详细的文档和API参考以及单位测试。
MMACTION2取决于Pytorch，MMCV，MMENGINE，MMDETECTION（可选）和mmpose（可选）。
有关详细说明，请参阅install.md。
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . 模型动物园中可用结果和模型。
| 行动识别 | ||||
| C3D（CVPR'2014） | TSN（ECCV'2016） | i3d（CVPR'2017） | C2D（CVPR'2018） | i3d非本地（CVPR'2018） |
| R（2+1）D（CVPR'2018） | TRN（ECCV'2018） | TSM（ICCV'2019） | TSM非本地（ICCV'2019） | 慢速（ICCV'2019） |
| 慢速（ICCV'2019） | CSN（ICCV'2019） | 锡（AAAI'2020） | TPN（CVPR'2020） | X3D（CVPR'2020） |
| 多模式：音频（Arxiv'2020） | tanet（arxiv'2020） | TimesFormer（ICML'2021） | ActionClip（Arxiv'2021） | Videoswin（CVPR'2022） |
| 视频（Neurips'2022） | MVIT V2（CVPR'2022） | Uniformer V1（ICL'2022） | Uniformer V2（Arxiv'2022） | 视频V2（CVPR'2023） |
| 动作本地化 | ||||
| BSN（ECCV'2018） | BMN（ICCV'2019） | Tcanet（CVPR'2021） | ||
| 时空作用检测 | ||||
| ACRN（ECCV'2018） | 慢速+快速R-CNN（ICCV'2019） | 慢速+快速r-CNN（ICCV'2019） | LFB（CVPR'2019） | 视频（Neurips'2022） |
| 基于骨架的动作识别 | ||||
| ST-GCN（AAAI'2018） | 2S-AGCN（CVPR'2019） | PESEC3D（CVPR'2022） | stgcn ++（arxiv'2022） | CTRGCN（CVPR'2021） |
| MSG3D（CVPR'2020） | ||||
| 视频检索 | ||||
| clip4clip（arxiv'2022） | ||||
| 行动识别 | |||
| HMDB51（主页）（ICCV'2011） | UCF101（主页）（CRCV-IR-12-01） | ActivityNet（主页）（CVPR'2015） | 动力学 - [400/600/700]（主页）（CVPR'2017） |
| STHV1（ICCV'2017） | STHV2（主页）（ICCV'2017） | 潜水48（主页）（ECCV'2018） | 小丑（主页）（ICCV'2019） |
| 时间时刻（主页）（TPAMI'2019） | 时间（主页）（arxiv'2019）的多词 | HVU（主页）（ECCV'2020） | Omnisource（主页）（ECCV'2020） |
| finegym（主页）（CVPR'2020） | Kinetics-710（主页）（ARXIV'2022） | ||
| 动作本地化 | |||
| Thumos14（主页）（Thumos Challenge 2014） | ActivityNet（主页）（CVPR'2015） | HACS（主页）（ICCV'2019） | |
| 时空作用检测 | |||
| UCF101-24*（主页）（CRCV-IR-12-01） | JHMDB*（主页）（ICCV'2015） | AVA（主页）（CVPR'2018） | Ava-Kinetics（主页）（ARXIV'2020） |
| 多运动（主页）（ICCV'2021） | |||
| 基于骨架的动作识别 | |||
| PESEC3D-FINEGYM（主页）（ARXIV'2021） | PESEC3D-NTURGB+D（主页）（Arxiv'2021） | PESEC3D-UCF101（主页）（ARXIV'2021） | PESEC3D-HMDB51（主页）（ARXIV'2021） |
| 视频检索 | |||
| MSRVTT（主页）（CVPR'2016） | |||
对于教程，我们为基本用法提供以下用户指南：
该项目以Apache 2.0许可发布。
如果您发现此项目对您的研究有用，请考虑引用：
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}我们感谢改善MMATCTION的所有贡献。有关贡献指南的更多详细信息，请参考MMCV中的贡献。
MMACTION2是一个开源项目，由来自各种大学和公司的研究人员和工程师贡献。我们感谢所有实施方法或添加新功能和用户提供宝贵反馈的贡献者。我们希望该工具箱和基准可以通过提供灵活的工具包来重新实现现有方法并开发其新模型来为不断增长的研究社区提供服务。
