mmpretrain

Documentação | Instalação | ? Modelo ZOO | ? Atualizar notícias | ? Relatando problemas

Inglês | 简体中文

Introdução

O MMPretrain é uma caixa de ferramentas de pré-treinamento de código aberto baseado em Pytorch. Faz parte do projeto OpenMmlab.

A filial main trabalha com o Pytorch 1.8+ .

Principais características

• Vários backbones e modelos pré -teriados
• Estratégias de treinamento ricas (aprendizado supervisionado, aprendizado auto-supervisionado, aprendizado de multimodalidade etc.)
• Bolsa de truques de treinamento
• Configurações de treinamento em larga escala
• Alta eficiência e extensibilidade
• Kits de ferramentas poderosos para análise de modelos e experimentos
• Várias tarefas de inferência fora da caixa.
  • Classificação da imagem
  • Legenda da imagem
  • Resposta de perguntas visuais
  • Aterramento visual
  • Recuperação (imagem a imagem, texto a imagem, imagem para texto)

mmpretrain.mp4

O que há de novo

? v1.2.0 foi lançado em 04/01/2023

• Suporte llava 1.5.
• Implementar de RAM com uma interface gradio.

? v1.1.0 foi lançado em 10/10/2023

• Apoie o treinamento Mini-GPT4 e forneça um modelo chinês (baseado em Baichuan-7b)
• Suporte a classificação zero-tiro com base no clipe.

? v1.0.0 foi lançado em 04/07/2023

• Suporte a inferência de mais algoritmos multimodais , como LLAVA , Minigpt-4 , lontra , etc.
• Apoie em torno de 10 conjuntos de dados multimodais !
• Adicione os algoritmos de aprendizado auto-supervisionado ITPN .
• Forneça exemplos de novas configurações e velocidade do DeepSpeed/FSDP com FlexiblerUnner. Aqui estão os links de documentação do novo Config e DeepSpeed/FSDP com o FlexiblerUnner.

? Atualizar da mmclassification para o mmpretrain

• Algoritmos de aprendizagem auto-supervisionados integrados da MMelfSup , como Mae , Beit , etc.
• Apoie o Riforme , uma espinha dorsal de visão simples, mas eficaz, removendo o misturador de token.
• Refactor DataSet Pipeline Visualização.
• Apoie Levit , XCIT , VIG , ConvNext-V2 , EVA , Revvit , EfficienteNETV2 , Clip , Tinyvit e Mixmim Backbones.

Este lançamento introduziu um mecanismo de treinamento e teste novo e flexível, mas ainda está em andamento. Bem -vindo a tentar de acordo com a documentação.

E há algumas mudanças na BC. Por favor, verifique o tutorial de migração.

Consulte o Changelog para obter mais detalhes e outras histórias de lançamento.

Instalação

Abaixo estão as etapas rápidas para a instalação:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

Consulte a documentação da instalação para obter uma instalação mais detalhada e a preparação do conjunto de dados.

Para suporte aos modelos de modalidade multi-modalidade, instale as dependências extras por:

mim install -e " .[multimodal] " 

Guias de usuário

Fornecemos uma série de tutoriais sobre o uso básico do mmpretrain para novos usuários:

• Aprenda sobre configurações
• Prepare o conjunto de dados
• Inferência com modelos existentes
• Trem
• Teste
• Tarefas a jusante

Para mais informações, consulte nossa documentação.

Modelo Zoológico

Resultados e modelos estão disponíveis no zoológico do modelo.

Visão geral

Backbones suportados	Aprendizado auto-supervisionado	Algoritmos de várias modalidade	Outros
VGG Resnet Resnext SE-RESNET SE-RESNEXT Regnet Shufflenet v1 Shufflenet v2 MobileNet V2 MobileNet V3 Swin-Transformer Swin-Transformer V2 Repvgg Vision-Transformer Transformador em transformador Res2net Mlp-mixer Deit Deit-3 Conformador T2T-Vit Gêmeos EficienteNET Edgenext Convnext Hrnet VAN Convmixer Cspnet PoolFormer Início v3 MobileOne EficienteFormer Mvit Hornet MobileVit Turco Replknet Beit Mixmim EFIFIFITFIFITYNET V2 Revvit Convnext v2 Vig Xcit Levit Riforme Glip Vit Sam Eva02 DINO V2 Hivit	MOCO V1 (CVPR'2020) SIMCLR (ICML'2020) MOCO V2 (Arxiv'2020) BYOL (Neurips'2020) Swav (Neurips'2020) Densecl (CVPR'2021) Simsiam (CVPR'2021) Barlow Twins (ICML'2021) MOCO V3 (ICCV'2021) Beit (ICLR'2022) Mae (cvpr'2022) Simmim (CVPR'2022) MaskFeat (CVPR'2022) CAE (Arxiv'2022) Milão (Arxiv'2022) Beit v2 (Arxiv'2022) EVA (CVPR'2023) Mixmim (arxiv'2022) ITPN (CVPR'2023) Spark (ICLR'2023) MFF (ICCV'2023)	Blip (arxiv'2022) BLIP-2 (ARXIV'2023) OFA (correr'2022) Flamingo (Neurips'2022) Clipe chinês (Arxiv'2022) Minigpt-4 (Arxiv'2023) Llava (arxiv'2023) Lontra (arxiv'2023)	Tarefa de recuperação de imagem: Arcface (CVPR'2019) Dicas de treinamento e teste: Randaug Autoaug RepetitionSampler TTA ...

Contribuindo

Agradecemos todas as contribuições para melhorar o mmpretrain. Consulte a contração contínua para a diretriz contribuinte.

Reconhecimento

O MMPretrain é um projeto de código aberto que é contribuído por pesquisadores e engenheiros de várias faculdades e empresas. Agradecemos todos os colaboradores que implementam seus métodos ou adicionam novos recursos, bem como usuários que fornecem feedbacks valiosos. Desejamos que a caixa de ferramentas e a referência possam servir à crescente comunidade de pesquisa, fornecendo um kit de ferramentas flexível para reimplementar os métodos existentes e apoiar sua própria pesquisa acadêmica.

Citação

Se você achar este projeto útil em sua pesquisa, considere citar:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

Licença

Este projeto é lançado sob a licença Apache 2.0.

Projetos no OpenMmlab

• Mengine: Biblioteca fundamental OpenMmlab para treinamento de modelos de aprendizado profundo.
• MMCV: Biblioteca fundamental do OpenMmlab para visão computacional.
• MIM: MIM instala pacotes OpenMmlab.
• MMEVal: uma biblioteca de avaliação unificada para várias bibliotecas de aprendizado de máquina.
• MMPRETRAIN: OpenMMMLab Pré-treinamento Caixa de ferramentas e benchmark.
• MMDETECTION: Caixa de ferramentas de detecção OpenMMLab e referência.
• MMDETECTION3D: Plataforma de próxima geração do OpenMmlab para detecção geral de objetos 3D.
• MMROTATE: Caixa de ferramentas de detecção de objetos rotacionada OpenMMLab e referência.
• MMYOLO: OpenMMMLab YOLO Series Caixa de ferramentas e benchmark.
• MMSsegmentation: Caixa de ferramentas de segmentação semântica OpenMMLab e referência.
• MMOCR: OpenMMLab Text Detection, Reconhecimento e Caixa de Ferramentas.
• MMPOSE: OpenMmlab Pose Estimativa Caixa de ferramentas e referência.
• MMHUMAN3D: OpenMMLab 3D Modelo Human Paramétrico Caixa de ferramentas e benchmark.
• MMSelfSup: OpenMmlab Caixa de ferramentas de aprendizado auto-supervisionada e referência.
• MMRAZOR: OpenMmlab Model Compression Toolbox e Benchmark.
• MMFewshot: OpenMmlab FewShot Learning Caixa de ferramentas e referência.
• Mmaction2: Ação de próxima geração do OpenMmlab Caixa de ferramentas e benchmark.
• MMTRACKING: Caixa de ferramentas de percepção de vídeo OpenMMLab e referência.
• MMFlow: OpenMMLab Caixa de ferramentas de fluxo óptico e referência.
• Mmagic: Open MM Lab uma caixa de ferramentas de Dvanced, Gerative e Intelligent C Reaction.
• MMEGERAÇÃO: OpenMMMLab Image and Video Generative Models Toolbox.
• MMDEPLOW: OpenMmlab Model Deployment Framework.
• Playground: um centro central para reunir e exibir projetos incríveis construídos no OpenMmlab.