mmaction2
MMAction2 V1.2.0 Release
الوثائق | التثبيت | ؟ نموذج حديقة الحيوان | ؟ تحديث الأخبار | مشاريع مستمرة | ؟ القضايا الإبلاغ
الإنجليزية | 简体中文
تم تحويل الفرع الافتراضي إلى main (السابق 1.x ) من master (Current 0.x ) ، ونشجع المستخدمين على الترحيل إلى أحدث إصدار مع المزيد من النماذج المدعومة ، ونقاط تفتيش التدريب قبل التدريب ، وترميز أبسط. يرجى الرجوع إلى دليل الترحيل لمزيد من التفاصيل.
الإصدار (2023.10.12) : v1.2.0 مع الميزات الجديدة التالية:
MMACTION2 هو صندوق أدوات مفتوح المصدر لفهم الفيديو استنادًا إلى pytorch. إنه جزء من مشروع OpenMMLAB.
التعرف على الإجراء على الحركية -400 (يسار) والتعرف على العمل القائم على الهيكل العظمي على NTU-RGB+D-120 (يمين)
نتائج الكشف عن العمل المكاني والتكنولوجيا القائمة على الهيكل العظمي على الحركية-400
نتائج الكشف عن العمل المكاني والزماني على AVA-2.1
التصميم المعياري : نتحلل إطار فهم الفيديو إلى مكونات مختلفة. يمكن للمرء بسهولة بناء إطار مخصص لفهم الفيديو من خلال الجمع بين الوحدات المختلفة.
دعم خمس مهام لفهم الفيديو الرئيسية : MMACTION2 ينفذ خوارزميات مختلفة لمهام فهم الفيديو المتعددة ، بما في ذلك التعرف على الإجراءات ، توطين العمل ، الكشف عن العمل المكاني ، الكشف عن الحركة القائمة على الهيكل العظمي واسترجاع الفيديو.
تم اختباره وتوثيقه جيدًا : نحن نقدم وثائق مفصلة ومرجع API ، وكذلك اختبارات الوحدة.
يعتمد MmAction2 على Pytorch و MMCV و MmEngine و MMDetection (اختياري) و Mmpose (اختياري).
يرجى الرجوع إلى install.md للحصول على إرشادات مفصلة.
conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch # This command will automatically install the latest version PyTorch and cudatoolkit, please check whether they match your environment.
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet # optional
mim install mmpose # optional
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e . النتائج والنماذج متوفرة في حديقة الحيوان النموذجية.
| التعرف على العمل | ||||
| C3D (CVPR'2014) | TSN (ECCV'2016) | I3D (CVPR'2017) | C2D (CVPR'2018) | i3d غير المحلي (CVPR'2018) |
| R (2+1) D (CVPR'2018) | TRN (ECCV'2018) | TSM (ICCV'2019) | TSM غير محلي (ICCV'2019) | بطيئة (ICCV'2019) |
| Slowfast (ICCV'2019) | CSN (ICCV'2019) | القصدير (aaai'2020) | TPN (CVPR'2020) | X3D (CVPR'2020) |
| تعدد الوسائط: الصوت (ARXIV'2020) | تانيت (arxiv'2020) | TimesFormer (ICML'2021) | ActionClip (Arxiv'2021) | Videoswin (CVPR'2022) |
| videomae (Neupips'2022) | MVIT V2 (CVPR'2022) | Uniformer V1 (ICLR'2022) | Uniformer V2 (Arxiv'2022) | Videomae v2 (CVPR'2023) |
| توطين العمل | ||||
| BSN (ECCV'2018) | BMN (ICCV'2019) | tcanet (CVPR'2021) | ||
| الكشف عن العمل المكاني | ||||
| ACRN (ECCV'2018) | Slowonly+Fast R-CNN (ICCV'2019) | Slowfast+Fast R-CNN (ICCV'2019) | LFB (CVPR'2019) | videomae (Neupips'2022) |
| التعرف على العمل القائم على الهيكل العظمي | ||||
| ST-GCN (AAAI'2018) | 2S-ACCN (CVPR'2019) | POSEC3D (CVPR'2022) | STGCN ++ (ARXIV'2022) | CTRGCN (CVPR'2021) |
| MSG3D (CVPR'2020) | ||||
| استرجاع الفيديو | ||||
| clip4clip (arxiv'2022) | ||||
| التعرف على العمل | |||
| HMDB51 (الصفحة الرئيسية) (ICCV'2011) | UCF101 (الصفحة الرئيسية) (CRCV-IR-12-01) | ActivityNet (الصفحة الرئيسية) (CVPR'2015) | حركية- [400/600/700] (الصفحة الرئيسية) (CVPR'2017) |
| STHV1 (ICCV'2017) | STHV2 (الصفحة الرئيسية) (ICCV'2017) | Diving48 (الصفحة الرئيسية) (ECCV'2018) | Jester (الصفحة الرئيسية) (ICCV'2019) |
| لحظات في الوقت المناسب (الصفحة الرئيسية) (TPAMI'2019) | متعددة العوامل في الوقت (الصفحة الرئيسية) (ARXIV'2019) | HVU (الصفحة الرئيسية) (ECCV'2020) | Omnisource (الصفحة الرئيسية) (ECCV'2020) |
| Finegym (الصفحة الرئيسية) (CVPR'2020) | حركية 710 (الصفحة الرئيسية) (ARXIV'2022) | ||
| توطين العمل | |||
| Thumos14 (الصفحة الرئيسية) (Thumos Challenge 2014) | ActivityNet (الصفحة الرئيسية) (CVPR'2015) | HACS (الصفحة الرئيسية) (ICCV'2019) | |
| الكشف عن العمل المكاني | |||
| UCF101-24* (الصفحة الرئيسية) (CRCV-IR-12-01) | JHMDB* (الصفحة الرئيسية) (ICCV'2015) | AVA (الصفحة الرئيسية) (CVPR'2018) | Ava-kinetics (الصفحة الرئيسية) (Arxiv'2020) |
| Multisports (الصفحة الرئيسية) (ICCV'2021) | |||
| التعرف على العمل القائم على الهيكل العظمي | |||
| posec3d-finegym (الصفحة الرئيسية) (Arxiv'2021) | POSEC3D-NTURGB+D (الصفحة الرئيسية) (ARXIV'2021) | POSEC3D-UCF101 (الصفحة الرئيسية) (ARXIV'2021) | POSEC3D-HMDB51 (الصفحة الرئيسية) (ARXIV'2021) |
| استرجاع الفيديو | |||
| MSRVTT (الصفحة الرئيسية) (CVPR'2016) | |||
للدروس التعليمية ، نقدم أدلة المستخدم التالية للاستخدام الأساسي:
يتم إصدار هذا المشروع بموجب ترخيص Apache 2.0.
إذا وجدت هذا المشروع مفيدًا في بحثك ، فيرجى النظر في Cite:
@misc { 2020mmaction2 ,
title = { OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark } ,
author = { MMAction2 Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmaction2} } ,
year = { 2020 }
}نحن نقدر جميع المساهمات لتحسين MMAction2. يرجى الرجوع إلى المساهمة.
MMAction2 هو مشروع مفتوح المصدر الذي يساهم به الباحثون والمهندسون من مختلف الكليات والشركات. نقدر جميع المساهمين الذين ينفذون أساليبهم أو يضيفون ميزات جديدة ومستخدمين يقدمون تعليقات قيمة. نتمنى أن يخدم صندوق الأدوات والمعيار مجتمع الأبحاث المتنامي من خلال توفير مجموعة أدوات مرنة لإعادة تنفيذ الأساليب الحالية وتطوير نماذجهم الجديدة.
