Documentation | Installation | ? Modèle Zoo | ? Mettre à jour les nouvelles | ? Problèmes de rapport
Anglais | 简体中文
Introduction
MMPretrain est une boîte à outils de pré-formation open source basée sur Pytorch. Cela fait partie du projet OpenMMLAB.
La branche main fonctionne avec Pytorch 1.8+ .
Caractéristiques majeures
- Divers colonnes anti-étalons et modèles pré-entraînés
- Stratégies de formation riches (apprentissage supervisé, apprentissage auto-supervisé, apprentissage multimodalité, etc.)
- Sac de trucs d'entraînement
- Configurations de formation à grande échelle
- Haute efficacité et extensibilité
- Des boîtes à outils puissantes pour l'analyse et les expériences de modèle
- Diverses tâches d'inférence hors boîte.
- Classification d'image
- Légende de l'image
- Question visuelle Réponction
- Mise à la terre visuelle
- Récupération (image à l'image, texte à l'image, image-à-texte)
mmptrain.mp4
Quoi de neuf
? v1.2.0 est publié dans le 04/01/2023
- Support Llava 1.5.
- Implémentation de RAM avec une interface Gradio.
? v1.1.0 est publié le 12/10/2023
- Soutenez la formation mini-GPT4 et fournissez un modèle chinois (basé sur Baichuan-7b)
- Prise en charge de la classification zéro-shot basée sur le clip.
? v1.0.0 est publié dans le 04/07/2023
- Soutenir l'inférence de plus d'algorithmes multimodaux , tels que Llava , MiniGpt-4 , Otter , etc.
- Prise en charge de 10 ensembles de données multimodaux !
- Ajoutez ITPN , étincez des algorithmes d'apprentissage auto-supervisés.
- Fournissez des exemples de nouvelle config et Deeppeed / FSDP avec Flexiblerunner. Voici les liens de documentation de New Config et Deeppeed / FSDP avec Flexiblerunner.
? Passer de MMClassification à MMPretrain
- Algorithmes d'apprentissage auto-levés intégrés de MMelSup , tels que Mae , Beit , etc.
- Soutenez RIFIOGER , une squelette visuelle simple mais efficace en supprimant le mélangeur de jeton.
- Visualisation du pipeline de données Refactor.
- Prise en charge de LEVIT , XCIT , VIG , CONVNEXT-V2 , EVA , REVVIT , EFFICETNETV2 , CLIP , TINYVIT et MIXMMIM HAUTEULES .
Cette version a introduit un tout nouveau moteur de formation et de test flexible, mais il est toujours en cours. Bienvenue à essayer selon la documentation.
Et il y a des changements révolutionnaires de la Colombie-Britannique. Veuillez vérifier le tutoriel de migration.
Veuillez vous référer à Changelog pour plus de détails et d'autres histoires de publication.
Installation
Vous trouverez ci-dessous des étapes rapides pour l'installation:
conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .
Veuillez vous référer à la documentation d'installation pour une installation plus détaillée et une préparation de l'ensemble de données.
Pour la prise en charge des modèles multimodalités, veuillez installer les dépendances supplémentaires par:
mim install -e " .[multimodal] "
Guides utilisateur
Nous avons fourni une série de tutoriels sur l'utilisation de base de MMPretrain pour les nouveaux utilisateurs:
- En savoir plus sur les configurations
- Préparer un ensemble de données
- Inférence avec les modèles existants
- Former
- Test
- Tâches en aval
Pour plus d'informations, veuillez consulter notre documentation.
Zoo modèle
Les résultats et les modèles sont disponibles dans le Zoo du modèle.
Aperçu
| Épine dorsale prise en charge | Apprentissage auto-supervisé | Algorithmes multimodalités | Autres |
- Vgg
- Resnet
- Resnext
- SE-RESNET
- SE-Ressext
- Regnet
- Shufflenet v1
- Shufflenet v2
- Mobilenet v2
- Mobilenet v3
- Transformateur de Swin
- Transformateur Swin V2
- Repvgg
- Transformateur de vision
- Transformateur
- Res2net
- MLP-Mixer
- Diable
- Deit-3
- Conformateur
- T2T-VIT
- Jumeaux
- Efficace
- Edgenext
- Convoiter
- HRNET
- VAN
- Convalier
- Cspnet
- Formidable
- Inception v3
- Mobileone
- Efficace efficace
- Mvit
- Frelon
- Mobilevit
- Bossoir
- Replat
- Beit
- Mixme
- EfficientNet v2
- Revit
- ConvNext v2
- Vig
- Xcit
- Lévite
- Riforme
- Faire un coup de pouce
- Vit Sam
- EVA02
- Dino v2
- Rivier
| - MOCO V1 (CVPR'2020)
- Simclr (icml'2020)
- MOCO V2 (ARXIV'2020)
- BYOL (NEIRIPS'2020)
- Swav (neirips'2020)
- DENSECL (CVPR'2021)
- Simisiam (CVPR'2021)
- Barlow Twins (ICMl'2021)
- MOCO V3 (ICCV'2021)
- Beit (iclr'2022)
- MAE (CVPR'2022)
- Simmim (CVPR'2022)
- MaskFeat (CVPR'2022)
- CAE (ARXIV'2022)
- Milan (Arxiv'2022)
- Beit v2 (arxiv'2022)
- Eva (CVPR'2023)
- MixMim (arXiv'2022)
- ITPN (CVPR'2023)
- Spark (ICLR'2023)
- MFF (ICCV'2023)
| - Blip (arXiv'2022)
- Blip-2 (arxiv'2023)
- OFA (Corr'2022)
- Flamingo (Neirips'2022)
- Clip chinois (Arxiv'2022)
- MINIGPT-4 (ARXIV'2023)
- Llava (arXiv'2023)
- Otter (Arxiv'2023)
| Tâche de récupération d'image: Conseils de formation et de test:- Randaug
- Autoaug
- Répétiteur
- TTA
- ...
|
Contributif
Nous apprécions toutes les contributions pour améliorer MMPretrain. Veuillez vous référer à Contrubuting pour la directive contributive.
Reconnaissance
MMPretrain est un projet open source qui est apporté par des chercheurs et des ingénieurs de divers collèges et entreprises. Nous apprécions tous les contributeurs qui mettent en œuvre leurs méthodes ou ajoutent de nouvelles fonctionnalités, ainsi que des utilisateurs qui donnent des commentaires précieux. Nous souhaitons que la boîte à outils et la référence puissent servir la communauté de recherche croissante en fournissant une boîte à outils flexible pour réimplémenter les méthodes existantes et soutenir leurs propres recherches académiques.
Citation
Si vous trouvez ce projet utile dans vos recherches, veuillez envisager citer:
@misc { 2023mmpretrain ,
title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
author = { MMPreTrain Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
year = { 2023 }
}Licence
Ce projet est publié sous la licence Apache 2.0.
Projets dans OpenMmLab
- MMENGINE: Bibliothèque fondamentale OpenMMLAB pour la formation des modèles d'apprentissage en profondeur.
- MMCV: Bibliothèque fondamentale OpenMMLab pour la vision par ordinateur.
- MIM: MIM installe les packages OpenMmLab.
- MMEVAL: une bibliothèque d'évaluation unifiée pour plusieurs bibliothèques d'apprentissage automatique.
- MMPRETRAIN: Boîte à outils pré-entraînement OpenMMLAB et benchmark.
- MMDETECTION: Boîte à outils de détection OpenMMLAB et benchmark.
- MMDETECTION3D: Plateforme de nouvelle génération d'OpenMMLab pour la détection d'objets General 3D.
- MMROTATE: Boîte à outils de détection d'objets rotative OpenMMLab et benchmark.
- MMYOLO: Boîte à outils et référence OpenMMLAB YOLO Série Yolo.
- MmSegmentation: boîte à outils de segmentation sémantique OpenMMLAB et référence.
- MMOCR: OpenMmLab Text Detection, Reconnaissance et compréhension de la boîte à outils.
- MMPOSE: OpenMMLab Pose Estimation Toolbox et Benchmark.
- MMHUMAN3D: OpenMMLab 3D Human Parametric Model Box and Benchmark.
- MMelSup: OpenMmlab Auto-supervisé d'apprentissage et référence.
- MMRAZOR: boîte à outils de compression du modèle OpenMMLAB et benchmark.
- MMFewshot: OpenMmLab FewShot Learning Toolbox et Benchmark.
- MMAction2: OpenMMLab Next Genération Action Comprendre la boîte à outils et la référence.
- MMTRACKING: OpenMMLab Video Perception Toolbox and Benchmark.
- MMFLOW: boîte à outils à débit optique OpenMMLAB et benchmark.
- MMAGIC: Open MM Lab a Dvanced, G Enerative et I Ntelligent C Boîte à outils de rérétion C.
- MMGENERATION: OpenMMLAB Image et vidéo Modèles génératifs Boîtes à outils.
- MMDEPLOY: Framework de déploiement du modèle OpenMMLAB.
- Playground: un centre central pour la rassemblement et la présentation de projets incroyables construits sur OpenMmLab.
