Téléchargement mmaction - Téléchargement du code source mmaction

mmaction

Python

1.0.0

Télécharger

Mmaction

Introduction

MMAction est une boîte à outils open source pour la compréhension de l'action basée sur Pytorch. Il fait partie du projet Open-MMLAB développé par le laboratoire multimédia, CUHK.

Caractéristiques majeures

MMAction est capable de traiter toutes les tâches ci-dessous.
- Reconnaissance d'action à partir de vidéos taillées
- Détection d'action temporelle (également connue sous le nom de localisation d'action) dans des vidéos non raccordées
- Détection d'action spatiale-temporelle dans des vidéos non raccordées.
Prise en charge de divers ensembles de données
Des ensembles de données vidéo ont émergé au cours des dernières années et ont considérablement favorisé le dévlopage de ce domaine. MMAction fournit des outils pour gérer divers ensembles de données.
Prise en charge des cadres de compréhension de l'action multiple
MMAction met en œuvre des cadres populaires pour la compréhension de l'action:
- Pour la reconnaissance d'action, divers algorithmes sont implémentés, notamment TSN, I3D, SlowFast, R (2 + 1) D, CSN.
- Pour la détection d'action temporelle, nous implémentons SSN.
- Pour la détection d'action atomique temporelle spatiale, une ligne de base RCNN rapide est fournie.
Conception modulaire
Les tâches de la compréhension de l'action humaine partagent certains aspects communs tels que les squelettes et les schémas d'échantillonnage à long terme et à court terme. De plus, les tâches peuvent bénéficier les unes des autres. Par exemple, une meilleure épine dorsale pour la reconnaissance d'action apportera un gain de performance pour la détection d'action. La conception modulaire nous permet de voir la compréhension de l'action dans une perspective plus intégrée.

Licence

Le projet est publié sous la licence Apache 2.0.

Mises à jour

Version du modèle OmniSource (22/08/2020)

Nous publions plusieurs modèles de notre travail OmniSource. Ces modèles sont formés conjointement avec la cinétique-400 et l'ensemble de données Web omnise. Ces modèles sont de bonnes performances (précision TOP1: 75,7% pour le TSN à 3 segments et 80,4% pour le slowonly sur la cinétique-400 Val) et la représentation apprise se transfère bien à d'autres tâches.

v0.2.0 (15/03/2020)

Nous construisons un modèle diversifié pour la reconnaissance d'action, qui comprend des algorithmes populaires (TSN, I3D, Slowfast, R (2 + 1) D, CSN). La performance est alignée avec ou mieux que les articles d'origine.

v0.1.0 (19/06/2019)

Mmaction est en ligne!

Zoo modèle

Les résultats et les modèles de référence sont disponibles dans le Zoo du modèle.

Installation

Veuillez vous référer à install.md pour l'installation.

MISE À JOUR: Pour l'installation de Docker, veuillez vous référer à Docker.md pour l'utilisation de Docker pour ce projet.

Préparation des données

Veuillez vous référer à DataSet.MD pour une connaissance générale de la préparation des données. Des documents détaillés pour les ensembles de données pris en charge sont disponibles dans data_tools/ .

Commencer

Veuillez vous référer à getS_Started.md pour des exemples détaillés et une utilisation abstraite.

Contributif

Nous apprécions toutes les contributions pour améliorer la mmaction. Veuillez vous référer à Contrubuting.md pour la directive contributive.

Citation

Si vous utilisez notre base de code ou nos modèles dans votre recherche, veuillez citer ce travail. Nous publierons un rapport technique plus tard.

 @misc{mmaction2019,
  author =       {Yue Zhao, Yuanjun Xiong, Dahua Lin},
  title =        {MMAction},
  howpublished = {url{https://github.com/open-mmlab/mmaction}},
  year =         {2019}
}