mmaction2
MMAction2 V1.2.0 Release
Dokumentasi | Instalasi | ? Model Zoo | ? Perbarui berita | Proyek yang sedang berlangsung | Masalah pelaporan
Bahasa Inggris | 简体中文
Cabang default telah dialihkan ke main ( 1.x sebelumnya) dari master (saat ini 0.x ), dan kami mendorong pengguna untuk bermigrasi ke versi terbaru dengan model yang lebih didukung, pos pemeriksaan pra-pelatihan yang lebih kuat dan pengkodean yang lebih sederhana. Silakan merujuk ke panduan migrasi untuk lebih jelasnya.
Rilis (2023.10.12) : v1.2.0 dengan fitur baru berikut:
MMAction2 adalah kotak alat open-source untuk pemahaman video berdasarkan Pytorch. Ini adalah bagian dari proyek OpenMmLab.
Pengenalan Tindakan pada Kinetics-400 (kiri) dan pengenalan tindakan berbasis kerangka pada NTU-RGB+D-120 (kanan)
Deteksi Tindakan Spatio-Temporal Berbasis Kerangka dan Hasil Pengenalan Tindakan pada Kinetics-400
Hasil deteksi tindakan spatio-temporal pada AVA-2.1
Desain Modular : Kami menguraikan kerangka kerja pemahaman video menjadi komponen yang berbeda. Seseorang dapat dengan mudah membangun kerangka pemahaman video yang disesuaikan dengan menggabungkan berbagai modul.
Mendukung lima tugas pemahaman video utama : MMACTION2 mengimplementasikan berbagai algoritma untuk beberapa tugas pemahaman video, termasuk pengenalan tindakan, lokalisasi tindakan, deteksi aksi spatio-temporal, deteksi aksi berbasis kerangka dan pengambilan video.
Diuji dan didokumentasikan dengan baik : Kami memberikan dokumentasi terperinci dan referensi API, serta tes unit.
MMACTION2 tergantung pada pytorch, MMCV, MMengine, MMDetection (opsional) dan MMPOSE (opsional).
Silakan merujuk ke Install.md untuk instruksi terperinci.
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . Hasil dan model tersedia di kebun binatang model.
| Pengakuan tindakan | ||||
| C3D (CVPR'2014) | TSN (ECCV'2016) | I3d (CVPR'2017) | C2D (CVPR'2018) | I3d non-lokal (CVPR'2018) |
| R (2+1) D (CVPR'2018) | TRN (ECCV'2018) | TSM (ICCV'2019) | TSM Non-Local (ICCV'2019) | Slowonly (ICCV'2019) |
| Slowfast (iccv'2019) | CSN (ICCV'2019) | Timah (aaai'2020) | TPN (CVPR'2020) | X3D (CVPR'2020) |
| Multimodality: Audio (Arxiv'2020) | Tanet (Arxiv'2020) | Timesformer (ICML'2021) | ActionClip (Arxiv'2021) | VideoSwin (CVPR'2022) |
| Videomae (Neurips'2022) | MVIT V2 (CVPR'2022) | Seragam V1 (ICLR'2022) | Seragam V2 (Arxiv'2022) | Videomae V2 (CVPR'2023) |
| Lokalisasi Tindakan | ||||
| BSN (ECCV'2018) | BMN (ICCV'2019) | Tcanet (cvpr'2021) | ||
| Deteksi Tindakan Spatio-Temporal | ||||
| ACRN (ECCV'2018) | Slowonly+Fast R-CNN (ICCV'2019) | Slowfast+Fast R-CNN (ICCV'2019) | LFB (CVPR'2019) | Videomae (Neurips'2022) |
| Pengakuan Tindakan Berbasis Kerangka | ||||
| ST-GCN (AAAI'2018) | 2S-AGCN (CVPR'2019) | Posec3d (cvpr'2022) | Stgcn ++ (arxiv'2022) | CTRGCN (CVPR'2021) |
| MSG3D (CVPR'2020) | ||||
| Pengambilan video | ||||
| Clip4clip (arxiv'2022) | ||||
| Pengakuan tindakan | |||
| HMDB51 (beranda) (ICCV'2011) | UCF101 (beranda) (CRCV-IR-12-01) | ActivityNet (beranda) (CVPR'2015) | Kinetics- [400/600/700] (Beranda) (CVPR'2017) |
| STHV1 (ICCV'2017) | STHV2 (beranda) (ICCV'2017) | Diving48 (beranda) (ECCV'2018) | Jester (beranda) (ICCV'2019) |
| Moments in Time (beranda) (tpami'2019) | Multi-momen dalam waktu (beranda) (arxiv'2019) | HVU (beranda) (ECCV'2020) | Omnisource (beranda) (ECCV'2020) |
| Finegym (beranda) (CVPR'2020) | Kinetics-710 (beranda) (arxiv'2022) | ||
| Lokalisasi Tindakan | |||
| Thumos14 (beranda) (Thumos Challenge 2014) | ActivityNet (beranda) (CVPR'2015) | HACS (beranda) (ICCV'2019) | |
| Deteksi Tindakan Spatio-Temporal | |||
| UCF101-24* (beranda) (CRCV-IR-12-01) | Jhmdb* (beranda) (iccv'2015) | Ava (beranda) (CVPR'2018) | Ava-kinetics (beranda) (arxiv'2020) |
| Multisports (beranda) (ICCV'2021) | |||
| Pengakuan Tindakan Berbasis Kerangka | |||
| POSEC3D-FINEGYM (beranda) (Arxiv'2021) | Posec3d-nturgb+d (beranda) (arxiv'2021) | POSEC3D-UCF101 (beranda) (Arxiv'2021) | Posec3d-hmdb51 (beranda) (arxiv'2021) |
| Pengambilan video | |||
| Msrvtt (beranda) (cvpr'2016) | |||
Untuk tutorial, kami menyediakan panduan pengguna berikut untuk penggunaan dasar:
Proyek ini dirilis di bawah lisensi Apache 2.0.
Jika Anda menemukan proyek ini berguna dalam penelitian Anda, silakan pertimbangkan CITE:
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}Kami menghargai semua kontribusi untuk meningkatkan mmaction2. Silakan merujuk ke Contributing.md di MMCV untuk detail lebih lanjut tentang pedoman yang berkontribusi.
MMACTION2 adalah proyek open-source yang disumbangkan oleh para peneliti dan insinyur dari berbagai perguruan tinggi dan perusahaan. Kami menghargai semua kontributor yang mengimplementasikan metode mereka atau menambahkan fitur baru dan pengguna yang memberikan umpan balik yang berharga. Kami berharap bahwa kotak alat dan tolok ukur dapat melayani komunitas riset yang berkembang dengan menyediakan toolkit yang fleksibel untuk menerapkan kembali metode yang ada dan mengembangkan model baru mereka.
