mmaction2
MMAction2 V1.2.0 Release
문서 | 설치 | ? 모델 동물원 | ? 업데이트 뉴스 | 진행중인 프로젝트 | ?보고 문제
영어 | 简体中文
기본 브랜치는 master (현재 0.x )에서 main (이전 1.x )으로 전환되었으며 사용자는 더 지원되는 모델, 더 강력한 사전 훈련 체크 포인트 및 더 간단한 코딩으로 최신 버전으로 마이그레이션하는 것이 좋습니다. 자세한 내용은 마이그레이션 안내서를 참조하십시오.
릴리스 (2023.10.12) : v1.2.0 다음 새로운 기능이 포함되어 있습니다.
MMAction2는 Pytorch를 기반으로 한 비디오 이해를위한 오픈 소스 도구 상자입니다. OpenMMLAB 프로젝트의 일부입니다.
Kinetics-400 (왼쪽) 및 NTU-RGB+D-120의 골격 기반 행동 인식에 대한 행동 인식 (오른쪽)
Kinetics-400에서 골격 기반 시공간 행동 감지 및 행동 인식 결과
AVA-2.1의 시공간 행동 감지 결과
모듈 식 디자인 : 비디오 이해 프레임 워크를 다른 구성 요소로 분해합니다. 다른 모듈을 결합하여 맞춤형 비디오 이해 프레임 워크를 쉽게 구성 할 수 있습니다.
5 가지 주요 비디오 이해 작업 지원 : MMAction2는 작업 인식, 작업 현지화, 시공간 행동 감지, 골격 기반 작업 감지 및 비디오 검색을 포함한 여러 비디오 이해 작업을위한 다양한 알고리즘을 구현합니다.
잘 테스트 및 문서화 : 우리는 세부 문서 및 API 참조 및 단위 테스트를 제공합니다.
MMACTION2는 PyTorch, MMCV, Mmengine, MMDetection (선택 사항) 및 MMPEP (선택 사항)에 따라 다릅니다.
자세한 지침은 install.md를 참조하십시오.
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . 결과와 모델은 모델 동물원에서 제공됩니다.
| 행동 인식 | ||||
| C3D (CVPR'2014) | TSN (ECCV'2016) | i3d (CVPR'2017) | C2D (CVPR'2018) | i3d 비 로컬 (CVPR'2018) |
| R (2+1) D (CVPR'2018) | TRN (ECCV'2018) | TSM (ICCV'2019) | TSM Non-Local (ICCV'2019) | Slowonly (ICCV'2019) |
| 슬로우스 (ICCV'2019) | CSN (ICCV'2019) | 주석 (aaai'2020) | TPN (CVPR'2020) | x3d (CVPR'2020) |
| 멀티 모드 : 오디오 (Arxiv'2020) | Tanet (Arxiv'2020) | Timesformer (ICML'2021) | ActionClip (Arxiv'2021) | Videoswin (CVPR'2022) |
| Videomae (Neurips'2022) | MVIT V2 (CVPR'2022) | 균일 한 V1 (ICLR'2022) | 균일 한 V2 (Arxiv'2022) | Videomae V2 (CVPR'2023) |
| 행동 현지화 | ||||
| BSN (ECCV'2018) | BMN (ICCV'2019) | Tcanet (CVPR'2021) | ||
| 시공간 행동 감지 | ||||
| ACRN (ECCV'2018) | Slowonly+빠른 R-CNN (ICCV'2019) | 슬로우스+빠른 R-CNN (ICCV'2019) | LFB (CVPR'2019) | Videomae (Neurips'2022) |
| 골격 기반 행동 인식 | ||||
| ST-GCN (AAAI'2018) | 2S-AGCN (CVPR'2019) | posec3d (cvpr'2022) | STGCN ++ (ARXIV'2022) | Ctrgcn (CVPR'2021) |
| msg3d (CVPR'2020) | ||||
| 비디오 검색 | ||||
| Clip4Clip (Arxiv'2022) | ||||
| 행동 인식 | |||
| HMDB51 (홈페이지) (ICCV'2011) | UCF101 (홈페이지) (CRCV-IR-12-01) | Activitynet (홈페이지) (CVPR'2015) | 동역학-[400/600/700] (홈페이지) (CVPR'2017) |
| STHV1 (ICCV'2017) | STHV2 (홈페이지) (ICCV'2017) | Diving48 (홈페이지) (ECCV'2018) | Jester (홈페이지) (ICCV'2019) |
| 시간 (홈페이지) (TPAMI'2019) | 멀티 모멘트 시간 (홈페이지) (Arxiv'2019) | HVU (홈페이지) (ECCV'2020) | Omnisource (홈페이지) (ECCV'2020) |
| Finegym (홈페이지) (CVPR'2020) | 동역학 -710 (홈페이지) (Arxiv'2022) | ||
| 행동 현지화 | |||
| Thumos14 (홈페이지) (Thumos Challenge 2014) | Activitynet (홈페이지) (CVPR'2015) | HACS (홈페이지) (ICCV'2019) | |
| 시공간 행동 감지 | |||
| UCF101-24* (홈페이지) (CRCV-IR-12-01) | JHMDB* (홈페이지) (ICCV'2015) | AVA (홈페이지) (CVPR'2018) | ava-kinetics (홈페이지) (Arxiv'2020) |
| 멀티 스포츠 (홈페이지) (ICCV'2021) | |||
| 골격 기반 행동 인식 | |||
| posec3d-fingym (홈페이지) (Arxiv'2021) | posec3d-nturgb+d (홈페이지) (arxiv'2021) | posec3d-ucf101 (홈페이지) (Arxiv'2021) | posec3d-hmdb51 (홈페이지) (Arxiv'2021) |
| 비디오 검색 | |||
| MSRVTT (홈페이지) (CVPR'2016) | |||
튜토리얼의 경우 기본 사용에 대한 다음 사용자 가이드를 제공합니다.
이 프로젝트는 Apache 2.0 라이센스에 따라 릴리스됩니다.
이 프로젝트가 연구에 유용하다고 생각되면 인용을 고려하십시오.
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}MMAction2를 개선하기위한 모든 기여에 감사드립니다. 기여 가이드 라인에 대한 자세한 내용은 MMCV의 Contributing.md를 참조하십시오.
MMACTION2는 다양한 대학 및 회사의 연구원과 엔지니어가 기여하는 오픈 소스 프로젝트입니다. 우리는 자신의 방법을 구현하거나 새로운 기능과 귀중한 피드백을 제공하는 사용자에게 감사합니다. 우리는 Toolbox와 Benchmark가 기존 방법을 다시 구현하고 새로운 모델을 개발하기 위해 유연한 툴킷을 제공함으로써 성장하는 연구 커뮤니티에 서비스를 제공 할 수 있기를 바랍니다.
