Dokumentation | Installation | ? Modellzoo | ? Neuigkeiten aktualisieren | ? Meldungsprobleme
Englisch | 简体中文
Einführung
MMPRETRAIN ist eine Open-Source-Toolbox vor dem Training, die auf Pytorch basiert. Es ist Teil des OpenMMLAB -Projekts.
Der main arbeitet mit Pytorch 1.8+ .
Hauptmerkmale
- Verschiedene Rückgrat- und vorbereitete Modelle
- Reiche Trainingsstrategien (überwachtes Lernen, selbst überprüftes Lernen, Multi-Modalität-Lernen usw.)
- Tüte Trainingstricks
- Große Trainingskonfigurationen
- Hohe Effizienz und Erweiterbarkeit
- Leistungsstarke Toolkits für die Modellanalyse und -versuche
- Verschiedene Aufgaben außerhalb des Boxs.
- Bildklassifizierung
- Bildunterschrift
- Visuelle Frage Beantwortung
- Visuelle Erdung
- Abrufen (Bild-zu-Image, Text-zu-Image, Bild-zu-Text)
mmpetrain.mp4
Was ist neu
? v1.2.0 wurde am 04.01.2023 veröffentlicht
- Support Llava 1.5.
- Implementierung von RAM mit einer Gradio -Schnittstelle.
? V1.1.0 wurde am 10.10.2023 veröffentlicht
- Unterstützung von Mini-GPT4-Schulungen und Bereitstellung eines chinesischen Modells (basierend auf Baichuan-7b)
- Unterstützen Sie die Klassifizierung von Zero-Shot basierend auf dem Clip.
? v1.0.0 wurde am 04.07.2023 veröffentlicht
- Unterstützen Sie die Inferenz mehr multimodaler Algorithmen wie Llava , Minigpt-4 , Otter usw.
- Unterstützen Sie rund 10 multimodale Datensätze!
- Fügen Sie ITPN hinzu, sparken selbst überprüften Lernalgorithmen.
- Geben Sie Beispiele für neue Konfiguration und DeepSpeed/FSDP mit Flexiblerunner an. Hier sind die Dokumentationslinks von neuer Konfiguration und DeepSpeed/FSDP mit Flexiblerunner.
? Upgrade von MMClassification auf MMPRETRAIN
- Integrierte selbstsütige Lernalgorithmen von MmselfSup , wie MAE , Beit usw.
- Unterstützen Sie Riformer , ein einfaches, aber effektives Sehvorgrat, indem Sie den Token -Mixer entfernen.
- Refactor Dataset Pipeline Visualisierung.
- Unterstützen Sie Levit , Xcit , Vig , Convnext-V2 , EVA , RevVit , EfficienzyNetv2 , Clip , TinyVit und Mixmim- Backbones.
In dieser Veröffentlichung wurde eine brandneue und flexible Trainings- und Testmotor eingeführt, die jedoch noch im Gange ist. Willkommen zum Versuch gemäß der Dokumentation.
Und es gibt einige BC-Breaking-Veränderungen. Bitte überprüfen Sie das Migrations -Tutorial.
Weitere Informationen und andere Veröffentlichungsgeschichte finden Sie in ChangeLog.
Installation
Im Folgenden finden Sie schnelle Schritte für die Installation:
conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .
Weitere detailliertere Installations- und Datensatzvorbereitungen finden Sie in der Installationsdokumentation.
Für die Unterstützung von Multimodalitätsmodellen installieren Sie bitte die zusätzlichen Abhängigkeiten nach:
mim install -e " .[multimodal] "
Benutzerführer
Wir haben eine Reihe von Tutorials über die grundlegende Nutzung von MMPretrain für neue Benutzer bereitgestellt:
- Erfahren Sie mehr über Konfigurationen
- Datensatz vorbereiten
- Inferenz mit vorhandenen Modellen
- Zug
- Prüfen
- Nachgeschaltete Aufgaben
Weitere Informationen finden Sie in unserer Dokumentation.
Modellzoo
Ergebnisse und Modelle sind im Modellzoo verfügbar.
Überblick
| Unterstützte Rückgrat | Selbstüberprüftes Lernen | Multi-Modalität-Algorithmen | Andere |
- VGG
- Resnet
- Resnext
- Se-resnet
- Se-resnext
- Regnet
- SHUFFLENET V1
- SHUFFLENET V2
- Mobilenet v2
- Mobilenet v3
- Swin-Transformator
- Swin-Transformator V2
- Repvgg
- Vision-Transformator
- Transformator-in-Transformator
- Res2net
- MLP-MIXER
- Deit
- Deit-3
- Konformer
- T2T-vit
- Zwillinge
- EffizientesNetz
- Edgenext
- Überzeugen
- Hrnet
- Van
- Convmixer
- CSPNET
- Poolformator
- Inception v3
- MobileOne
- Effizienterforscher
- Mvit
- Hornisse
- Mobilevit
- Davit
- Replnet
- Beit
- Mixmim
- Effizientes Netz v2
- Revvit
- Überzeugen v2
- Vig
- Xcit
- Levit
- Riformator
- Glip
- Vit sam
- Eva02
- Dino V2
- Hivit
| - Moco V1 (CVPR'2020)
- SIMCLR (ICML'2020)
- Moco V2 (Arxiv'2020)
- BYOL (Neurips'2020)
- Swav (Neurips'2020)
- DENECL (CVPR'2021)
- SimSiam (CVPR'2021)
- Barlow Twins (ICML'2021)
- MOCO V3 (ICCV'2021)
- Beit (ICLR'2022)
- Mae (cvpr'2022)
- Simmim (CVPR'2022)
- Maskfeat (CVPR'2022)
- CAE (Arxiv'2022)
- Mailand (Arxiv'2022)
- Beit V2 (Arxiv'2022)
- Eva (CVPR'2023)
- Mixmim (Arxiv'2022)
- ITPN (CVPR'2023)
- Spark (ICLR'2023)
- MFF (ICCV'2023)
| - Blip (Arxiv'2022)
- BLIP-2 (Arxiv'2023)
- OFA (Corr'2022)
- Flamingo (Neurips'2022)
- Chinesischer Clip (Arxiv'2022)
- Minigpt-4 (Arxiv'2023)
- Llava (arxiv'2023)
- Otter (Arxiv'2023)
| Aufgabe des Bildabrufs: Trainings- und Test -Tipps:- Randaug
- Autoaug
- Wiederholungaugsampler
- Tta
- ...
|
Beitragen
Wir schätzen alle Beiträge zur Verbesserung von MMPRETRAIN. Bitte beachten Sie die Verstöße für die beitragende Richtlinie.
Anerkennung
MMPRETRAIN ist ein Open -Source -Projekt, das von Forschern und Ingenieuren verschiedener Hochschulen und Unternehmen beigetragen wird. Wir schätzen alle Mitwirkenden, die ihre Methoden implementieren oder neue Funktionen hinzufügen, sowie Benutzer, die wertvolle Feedbacks geben. Wir wünschen uns, dass der Toolbox und der Benchmark der wachsenden Forschungsgemeinschaft dienen könnten, indem sie ein flexibles Toolkit zur Neuauflage bestehender Methoden und zur Unterstützung ihrer eigenen akademischen Forschung bieten.
Zitat
Wenn Sie dieses Projekt in Ihrer Forschung nützlich finden, sollten Sie zitieren:
@misc { 2023mmpretrain ,
title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
author = { MMPreTrain Contributors } ,
howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
year = { 2023 }
}Lizenz
Dieses Projekt wird unter der Apache 2.0 -Lizenz veröffentlicht.
Projekte in OpenMmlab
- Mmengine: OpenMMMLAB -Grundlagenbibliothek für das Training von Deep Learning -Modellen.
- MMCV: OpenMMLAB Fundamentalbibliothek für Computer Vision.
- MIM: MIM installiert OpenMMLab -Pakete.
- MMEVAL: Eine einheitliche Evaluierungsbibliothek für mehrere Bibliotheken mehrerer maschineller Lernen.
- MMPRETRAIN: OpenMMLAB Pre-Training Toolbox und Benchmark.
- Mmdetion: OpenMmlab -Erkennungs -Toolbox und Benchmark.
- MMDETECTICE3D: OpenMMLAB-Plattform der nächsten Generation für die allgemeine 3D-Objekterkennung.
- MMROTATE: OpenMMMLAB -Toolbox und Benchmark gedrehte Objekterkennung.
- MMYOLO: OpenMMMLAB YOLO -Serie Toolbox und Benchmark.
- MMSegmentierung: OpenMMMLAB Semantic Segmentation Toolbox und Benchmark.
- MMOCR: OpenMMLAB -Texterkennung, Erkennung und Verständnis der Toolbox.
- MMIltier: OpenMMMLAB -Pose -Schätzung Toolbox und Benchmark.
- MMHUMAN3D: OpenMMLAB 3D Human Parametric Model Toolbox und Benchmark.
- MMMELSUP: OpenMMMLAB Self-überprüfte Lern-Toolbox und Benchmark.
- MMrazor: OpenMMMLAB -Modellkomprimierungs -Toolbox und Benchmark.
- MMFewShot: OpenMMMLAB WeeShot Learning Toolbox und Benchmark.
- MMACTION2: OpenMMMLAB-Aktion der nächsten Generation, das Toolbox und Benchmark zu verstehen.
- MMTRACKING: OpenMMLAB -Videowahrnehmungs -Toolbox und Benchmark.
- MMflow: OpenMMMLAB Optical Flow Toolbox und Benchmark.
- MMAGIC: Öffnen Sie MM Lab A DVANFE, GEERATIVE UND INTELLIGENT C ARETION TOOLBOX.
- MMGeneration: OpenMMMLAB -Bild- und Videogenerative Modelle Toolbox.
- MMDeploy: OpenMMLAB -Modellbereitstellungsframework.
- Spielplatz: Ein zentraler Hub zum Sammeln und Präsentieren von erstaunlichen Projekten, die auf OpenMMLAB aufgebaut sind.
