mmaction2
MMAction2 V1.2.0 Release
文檔|安裝| ？模型動物園| ？更新新聞|正在進行的項目|報告問題
英語| 簡體中文
默認分支已從main （當前1.x ）切換為master （前0.x ），我們鼓勵用戶遷移到最新版本，並具有更多支持的模型，更強的預訓練檢查點和更簡單的編碼。請參閱遷移指南以獲取更多詳細信息。
發行版（2023.10.12） ：v1.2.0具有以下新功能：
MMACTION2是一個開源工具箱，用於基於Pytorch的視頻理解。它是OpenMMLAB項目的一部分。
Kinetics-400（左）和基於骨架的動作識別的動作識別在NTU-RGB+D-120（右）上
基於骨架的時空動作檢測和動作識別結果-400
AVA-2.1的時空作用檢測結果
模塊化設計：我們將視頻理解框架分解為不同的組件。可以通過組合不同的模塊來輕鬆構建自定義的視頻理解框架。
支持五個主要的視頻理解任務：MMACTION2實現了多種視頻理解任務的各種算法，包括動作識別，動作定位，時空動作檢測，基於骨架的動作檢測和視頻檢索。
經過良好的測試和記錄：我們提供詳細的文檔和API參考以及單位測試。
MMACTION2取決於Pytorch，MMCV，MMENGINE，MMDETECTION（可選）和mmpose（可選）。
有關詳細說明，請參閱install.md。
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . 模型動物園中可用結果和模型。
| 行動識別 | ||||
| C3D（CVPR'2014） | TSN（ECCV'2016） | i3d（CVPR'2017） | C2D（CVPR'2018） | i3d非本地（CVPR'2018） |
| R（2+1）D（CVPR'2018） | TRN（ECCV'2018） | TSM（ICCV'2019） | TSM非本地（ICCV'2019） | 慢速（ICCV'2019） |
| 慢速（ICCV'2019） | CSN（ICCV'2019） | 錫（AAAI'2020） | TPN（CVPR'2020） | X3D（CVPR'2020） |
| 多模式：音頻（Arxiv'2020） | tanet（arxiv'2020） | TimesFormer（ICML'2021） | ActionClip（Arxiv'2021） | Videoswin（CVPR'2022） |
| 視頻（Neurips'2022） | MVIT V2（CVPR'2022） | Uniformer V1（ICL'2022） | Uniformer V2（Arxiv'2022） | 視頻V2（CVPR'2023） |
| 動作本地化 | ||||
| BSN（ECCV'2018） | BMN（ICCV'2019） | Tcanet（CVPR'2021） | ||
| 時空作用檢測 | ||||
| ACRN（ECCV'2018） | 慢速+快速R-CNN（ICCV'2019） | 慢速+快速r-CNN（ICCV'2019） | LFB（CVPR'2019） | 視頻（Neurips'2022） |
| 基於骨架的動作識別 | ||||
| ST-GCN（AAAI'2018） | 2S-AGCN（CVPR'2019） | PESEC3D（CVPR'2022） | stgcn ++（arxiv'2022） | CTRGCN（CVPR'2021） |
| MSG3D（CVPR'2020） | ||||
| 視頻檢索 | ||||
| clip4clip（arxiv'2022） | ||||
| 行動識別 | |||
| HMDB51（主頁）（ICCV'2011） | UCF101（主頁）（CRCV-IR-12-01） | ActivityNet（主頁）（CVPR'2015） | 動力學 - [400/600/700]（主頁）（CVPR'2017） |
| STHV1（ICCV'2017） | STHV2（主頁）（ICCV'2017） | 潛水48（主頁）（ECCV'2018） | 小丑（主頁）（ICCV'2019） |
| 時間時刻（主頁）（TPAMI'2019） | 時間（主頁）（arxiv'2019）的多詞 | HVU（主頁）（ECCV'2020） | Omnisource（主頁）（ECCV'2020） |
| finegym（主頁）（CVPR'2020） | Kinetics-710（主頁）（ARXIV'2022） | ||
| 動作本地化 | |||
| Thumos14（主頁）（Thumos Challenge 2014） | ActivityNet（主頁）（CVPR'2015） | HACS（主頁）（ICCV'2019） | |
| 時空作用檢測 | |||
| UCF101-24*（主頁）（CRCV-IR-12-01） | JHMDB*（主頁）（ICCV'2015） | AVA（主頁）（CVPR'2018） | Ava-Kinetics（主頁）（ARXIV'2020） |
| 多運動（主頁）（ICCV'2021） | |||
| 基於骨架的動作識別 | |||
| PESEC3D-FINEGYM（主頁）（ARXIV'2021） | PESEC3D-NTURGB+D（主頁）（Arxiv'2021） | PESEC3D-UCF101（主頁）（ARXIV'2021） | PESEC3D-HMDB51（主頁）（ARXIV'2021） |
| 視頻檢索 | |||
| MSRVTT（主頁）（CVPR'2016） | |||
對於教程，我們為基本用法提供以下用戶指南：
該項目以Apache 2.0許可發布。
如果您發現此項目對您的研究有用，請考慮引用：
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}我們感謝改善MMATCTION的所有貢獻。有關貢獻指南的更多詳細信息，請參考MMCV中的貢獻。
MMACTION2是一個開源項目，由來自各種大學和公司的研究人員和工程師貢獻。我們感謝所有實施方法或添加新功能和用戶提供寶貴反饋的貢獻者。我們希望該工具箱和基準可以通過提供靈活的工具包來重新實現現有方法並開發其新模型來為不斷增長的研究社區提供服務。
