mmpretrain

Documentación | Instalación | ? Zoológico modelo | ? ACTUALIZACIÓN Noticias | ? Problemas de informes

Inglés | 简体中文

Introducción

MMPretrain es una caja de herramientas de pre-entrenamiento de código abierto basada en Pytorch. Es parte del proyecto OpenMMLab.

La rama main funciona con Pytorch 1.8+ .

Características principales

• Varias modelos de backbones y petróleo
• Estrategias de capacitación ricas (aprendizaje supervisado, aprendizaje auto-supervisado, aprendizaje multimodalidad, etc.)
• Bolsa de trucos de entrenamiento
• Configuraciones de entrenamiento a gran escala
• Alta eficiencia y extensibilidad
• Poderosos kits de herramientas para análisis de modelos y experimentos
• Varias tareas de inferencia fuera de caja.
  • Clasificación de imágenes
  • Subtítulos
  • Respuesta de preguntas visuales
  • Puesta a tierra visual
  • Recuperación (imagen a imagen, texto a imagen, imagen a texto)

MMPretrain.mp4

Qué hay de nuevo

? V1.2.0 se lanzó el 01/04/2023

• Soporte Llava 1.5.
• Implemento de RAM con una interfaz de Gradio.

? V1.1.0 se lanzó en el 10/12/2023

• Apoye la capacitación Mini-GPT4 y proporcione un modelo chino (basado en Baichuan-7b)
• Admite la clasificación de disparo cero basada en el clip.

? V1.0.0 fue lanzado en el 04/07/2023

• Apoya la inferencia de más algoritmos multimodales , como Llava , Minigpt-4 , Nertter , etc.
• ¡Apoye alrededor de 10 conjuntos de datos multimodales !
• Agregue ITPN , Spark Algoritmos de aprendizaje auto-supervisado.
• Proporcione ejemplos de nueva configuración y Speed/FSDP con FlexibLerUnner. Aquí están los enlaces de documentación de la nueva configuración y la velocidad profunda/FSDP con FlexibLerUnner.

? Actualización de MMClassification a MMPretrain

• Algoritmos de aprendizaje auto-supervisados integrados de MMSelfsup , como Mae , Beit , etc.
• Apoya a Riformer , una columna vertebral de visión simple pero efectiva al eliminar el mezclador de tokens.
• Refactor de datos del conjunto de datos Visualización de la tubería.
• Apoyo a Levit , XCIT , Vig , ConvNext-V2 , EVA , RevVIT , EfficientNetV2 , Clip , TinyVit y MIXMIM Backbones.

Este lanzamiento introdujo un nuevo y flexible motor de entrenamiento y prueba, pero todavía está en progreso. Bienvenido a intentarlo según la documentación.

Y hay algunos cambios que rompen BC. Consulte el tutorial de migración.

Consulte ChangeLog para obtener más detalles y otro historial de lanzamiento.

Instalación

A continuación hay pasos rápidos para la instalación:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

Consulte la documentación de instalación para obtener una instalación más detallada y la preparación del conjunto de datos.

Para el soporte de modelos multimodalidad, instale las dependencias adicionales por:

mim install -e " .[multimodal] " 

Guías de usuario

Proporcionamos una serie de tutoriales sobre el uso básico de MMPretrain para nuevos usuarios:

• Aprenda sobre las configuraciones
• Preparar el conjunto de datos
• Inferencia con los modelos existentes
• Tren
• Prueba
• Tareas aguas abajo

Para obtener más información, consulte nuestra documentación.

Zoológico modelo

Los resultados y los modelos están disponibles en el zoológico del modelo.

Descripción general

Columna vertebral compatible	Aprendizaje auto-supervisado	Algoritmos multimodalidad	Otros
VGG Resnet Resnext Reinita SE SE-resext Regnet Shufflenet v1 Shufflenet v2 Mobilenet V2 Mobilenet V3 Transformador de giro Transformador de giro V2 Repvgg Transformador de visión Transformador en transformador Res2net Mixer de MLP DEIT Deit-3 Conformador T2T-VIT Mellizos EficeTnet Edgenext Convnexo Hrnet FURGONETA Convmixer Cspnet Formador de piscinas Inception V3 Móvila Formador eficiente Mvit Avispón Mobilevit Pescante Repleta Beit Mezcla EficeTnet v2 Revisor ConvNext V2 Vigilancia Xcita Levit Riflamante Glips Vit Sam EVA02 Dino V2 Vivitar	MOCO V1 (CVPR'2020) Simclr (ICML'2020) MOCO V2 (ARXIV'2020) Byol (Neurips'2020) SWAV (Neurips'2020) Densecl (CVPR'2021) Simsiam (CVPR'2021) Barlow Twins (ICML'2021) MOCO V3 (ICCV'2021) Beit (ICLR'2022) Mae (CVPR'2022) Simmim (CVPR'2022) Maskfeat (CVPR'2022) CAE (ARXIV'2022) Milán (arxiv'2022) Beit V2 (ARXIV'2022) Eva (CVPR'2023) Mixmim (arxiv'2022) ITPN (CVPR'2023) Spark (ICLR'2023) MFF (ICCV'2023)	Blip (arxiv'2022) Blip-2 (arxiv'2023) Ofa (Corr'2022) Flamingo (Neurips'2022) Clip chino (arxiv'2022) Minigpt-4 (ARXIV'2023) Llava (ARXIV'2023) Otter (arxiv'2023)	Tarea de recuperación de imágenes: Arcface (CVPR'2019) Consejos de entrenamiento y prueba: Enchufar Autoaug AMPRESO DE REPETAUGS TTA ...

Que contribuye

Apreciamos todas las contribuciones para mejorar MMPretrain. Consulte la contribución de la guía contribuyente.

Reconocimiento

MMPretrain es un proyecto de código abierto que contribuyen a investigadores e ingenieros de varias universidades y empresas. Apreciamos a todos los contribuyentes que implementan sus métodos o agregan nuevas características, así como a los usuarios que otorgan comentarios valiosos. Deseamos que la caja de herramientas y el punto de referencia puedan servir a la creciente comunidad de investigación al proporcionar un conjunto de herramientas flexible para reimplinar los métodos existentes y apoyar su propia investigación académica.

Citación

Si encuentra útil este proyecto en su investigación, considere citar:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

Licencia

Este proyecto se publica bajo la licencia Apache 2.0.

Proyectos en OpenMMLab

• MMEngine: OpenMMLab Biblioteca fundamental para capacitar a los modelos de aprendizaje profundo.
• MMCV: OpenMMLab Biblioteca fundamental para la visión por computadora.
• MIM: MIM instala paquetes OpenMMLab.
• MMEVAL: una biblioteca de evaluación unificada para múltiples bibliotecas de aprendizaje automático.
• MMPretrain: caja de herramientas de pre-entrenamiento OpenMMLab y punto de referencia.
• MMDETECTION: OpenMMLab Detection Toolbox and Benchmark.
• MMDETECTION3D: la plataforma de próxima generación de OpenMMLab para la detección general de objetos 3D.
• MMROTATE: OpenMMLab Caja de herramientas de detección de objetos rotados y punto de referencia.
• MMYOLO: OpenMMLab Yolo Series Toolbox y Benchmark.
• MMSegmation: OpenMMLab Semantic Segmation Toolbox y Benchmark.
• MMOCR: OpenMMLab de texto de texto, reconocimiento y comprensión de la caja de herramientas.
• MMPOSE: OpenMMLab Pose Estimation Toolboxbox y Benchmark.
• MMHUMAN3D: OpenMMLAB 3D Modelo de herramientas paramétricas humanas y punto de referencia.
• MMSelfsup: OpenMMLab Self-Supervised Learning Toolbox and Benchmark.
• MMRAZOR: caja de herramientas de compresión del modelo OpenMMLab y punto de referencia.
• Mmfewshot: OpenMMLab Smantshot Learning Toolbox and Benchmark.
• MMACTION2: la caja de herramientas de comprensión de acción de próxima generación de OpenMMLAB y el punto de referencia.
• MMTracking: OpenMMLab Video Perception Toolbox y Benchmark.
• MMFLOW: OpenMMLab Flow Toolbox Box y Benchmark.
• MMAGIC: Open MM Lab una caja de herramientas de reacción C Dvanced, G en suero e infantil .
• MM Generation: OpenMMLab Imagen y Video Generation Models Toolbox.
• MMDeploy: marco de implementación del modelo OpenMMLab.
• Playground: un centro central para reunir y exhibir proyectos increíbles basados en OpenMMLab.