mmaction

MmAction

Introducción

MMACTION es una caja de herramientas de código abierto para la comprensión de la acción basada en Pytorch. Es parte del proyecto Open-MMLAB desarrollado por el Laboratorio Multimedia, CUHK.

Características principales

• MMACTION es capaz de lidiar con todas las tareas a continuación.

  • Reconocimiento de acción de videos recortados
  • Detección de acción temporal (también conocida como localización de acción) en videos no recortados
  • Detección de acción espacial-temporal en videos no recortados.

• Soporte para varios conjuntos de datos

  Los conjuntos de datos de video han surgido durante los últimos años y han fomentado enormemente el desarrollo de este campo. MMACTION proporciona herramientas para tratar varios conjuntos de datos.

• Soporte para múltiples marcos de comprensión de acciones

  MMACTION implementa marcos populares para la comprensión de la acción:

  • Para el reconocimiento de acción, se implementan varios algoritmos, incluidos TSN, I3D, Slowfast, R (2+1) D, CSN.
  • Para la detección de acción temporal, implementamos SSN.
  • Para la detección de acción atómica temporal espacial, se proporciona una línea de base rápida de RCNN.

• Diseño modular

  Las tareas en la comprensión de la acción humana comparten algunos aspectos comunes, como troncos y esquemas de muestreo a largo plazo y a corto plazo. Además, las tareas pueden beneficiarse entre sí. Por ejemplo, una mejor columna vertebral para el reconocimiento de acción traerá ganancia de rendimiento para la detección de acción. El diseño modular nos permite ver la comprensión de la acción en una perspectiva más integrada.

Licencia

El proyecto se lanza bajo la licencia Apache 2.0.

Actualizaciones

Lanzamiento del modelo Omnisource (22/08/2020)

• Lanzamos varios modelos de nuestro trabajo Omnisource. Estos modelos están capacitados conjuntamente con Kinetics-400 y un conjunto de datos web omnisourcados. Esos modelos tienen un buen rendimiento (Top1 Precisión: 75.7% para TSN de 3 segmentos y 80.4% para Slowonly en Kinetics-400 Val) y la representación aprendida se transfiere bien a otras tareas.

V0.2.0 (15/03/2020)

• Construimos un ModelZoo diversificado para el reconocimiento de acción, que incluye algoritmos populares (TSN, I3D, Slowfast, R (2+1) D, CSN). El rendimiento está alineado o mejor que los documentos originales.

V0.1.0 (19/06/2019)

• ¡MMACTION está en línea!

Zoológico modelo

Los resultados y los modelos de referencia están disponibles en el zoológico del modelo.

Instalación

Consulte Install.md para la instalación.

Actualización: para la instalación de Docker, consulte Docker.md para usar Docker para este proyecto.

Preparación de datos

Consulte DataSet.md para obtener un conocimiento general de la preparación de datos. Los documentos detallados para los conjuntos de datos compatibles están disponibles en data_tools/ .

Empezar

Consulte Getting_started.md para obtener ejemplos detallados y uso de resumen.

Que contribuye

Apreciamos todas las contribuciones para mejorar la mmactación. Consulte Atrubuting.md para la guía contribuyente.

Citación

Si usa nuestra base de código o modelos en su investigación, cite este trabajo. Lanzaremos un informe técnico más tarde.

 @misc{mmaction2019,
  author =       {Yue Zhao, Yuanjun Xiong, Dahua Lin},
  title =        {MMAction},
  howpublished = {url{https://github.com/open-mmlab/mmaction}},
  year =         {2019}
}

Contacto

Si tiene alguna pregunta, presente un problema o comuníquese con el autor:

 Yue Zhao: [email protected]