mmpretrain

Документация | Установка | ? Модельный зоопарк | ? Обновление новостей | ? Проблемы отчетности

Английский | 简体中文

Введение

MMPretrain-это набор инструментов с открытым исходным кодом на основе Pytorch. Это часть проекта OpenMMLAB.

main ветвь работает с Pytorch 1.8+ .

Основные особенности

• Различные магистрали и предварительные модели
• Богатые стратегии обучения (контролируемое обучение, самоотверженное обучение, многомодальное обучение и т. Д.)
• Мешок тренировочных трюков
• Крупномасштабные тренировочные конфигурации
• Высокая эффективность и расширяемость
• Мощные наборы инструментов для анализа моделей и экспериментов
• Различные задачи по выводу вне коробки.
  • Классификация изображений
  • Подпись изображения
  • Визуальный вопрос ответа
  • Визуальное заземление
  • Понимание (изображение к изображению, текстовое до изображения, изображение в текст)

mmpretrain.mp4

Что нового

? v1.2.0 был выпущен в 01.04.2023

• Поддержка Llava 1.5.
• Реализация оперативной памяти с интерфейсом Gradio.

? v1.1.0 был выпущен в 10/10/2023

• Поддерживать обучение Mini-GPT4 и предоставить китайскую модель (на основе Baichuan-7B)
• Поддержка с нулевой классификацией на основе клипа.

? v1.0.0 был выпущен в 04.07.2023

• Поддержка вывода более многомодальных алгоритмов, таких как Llava , Minigpt-4 , выдр и т. Д.
• Поддержите около 10 многомодальных наборов данных!
• Добавьте ITPN , зажмите самоотверженные алгоритмы обучения.
• Предоставьте примеры новой конфигурации и DeepSpeed/FSDP с Flexiblerunner. Вот ссылки на документацию New Config и DeepSpeed/FSDP с Flexiblerunner.

? Обновление с MMClassification до MMPretrain

• Интегрированные самоотверженные алгоритмы обучения из MM SelfSup , такие как MAE , BEIT и т. Д.
• Поддержите Riformer , простую, но эффективную основу зрения, удалив токен -микшер.
• Рефактор наборов данных визуализация.
• Поддержите Levit , XCIT , VIG , Convnext-V2 , EVA , Revvit , EffififyNetV2 , клип , крошечный и микмим .

Этот релиз представил совершенно новый и гибкий тренировочный и тестовый двигатель, но он все еще находится в процессе. Добро пожаловать, чтобы попробовать в соответствии с документацией.

И есть некоторые изменения в BC. Пожалуйста, проверьте учебник по миграции.

Пожалуйста, обратитесь к Changelog для получения более подробной информации и другой истории релиза.

Установка

Ниже приведены быстрые шаги для установки:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

Пожалуйста, обратитесь к документации по установке для более подробной установки и подготовки наборов данных.

Для поддержки моделей многомодальности, пожалуйста, установите дополнительные зависимости:

mim install -e " .[multimodal] " 

Пользовательские руководства

Мы предоставили серию учебных пособий об основном использовании MMPretrain для новых пользователей:

• Узнайте о конфигурации
• Подготовьте набор данных
• Вывод с существующими моделями
• Тренироваться
• Тест
• Вниз по течению задач

Для получения дополнительной информации, пожалуйста, обратитесь к нашей документации.

Модельный зоопарк

Результаты и модели доступны в модельном зоопарке.

Обзор

Поддерживаемые основы	Самоотверженное обучение	Алгоритмы мультимодальности	Другие
Vgg Resnet Resnext SE-Resnet Se-Resnext Регнет Shufflenet v1 Shufflenet v2 Mobilenet v2 Mobilenet v3 SUN-Transformer SUN-Transformer v2 Repvgg Vision-Transformer Трансформатор-в-трансформатор Res2net MLP-Mixer Деит Deit-3 Конформер T2T-Vit Двойняшки EfficeNet Edgenext Убежден Hrnet Фургон Convmixer CSPnet Poolformer Начало V3 Mobileone Эффективно MVIT Шершень MobileVit Давит Replnet Бейт Микмим EffactNet v2 Revvit Convinext v2 Виг Xcit Левит Riformer Глип Вита Сэм EVA02 Dino v2 Хищник	Moco v1 (CVPR'2020) Simclr (ICML'2020) Moco v2 (arxiv'2020) Byol (Neurips'2020) Swav (Neurips'2020) Densecl (CVPR'2021) Simsiam (CVPR'2021) Близнецы Барлоу (ICML'2021) Moco v3 (ICCV'2021) Бейт (ICLR'2022) MAE (CVPR'2022) Симмим (CVPR'2022) Maskfeat (CVPR'2022) CAE (arxiv'2022) Милан (arxiv'2022) Beit v2 (arxiv'2022) Ева (CVPR'2023) Mixmim (arxiv'2022) ITPN (CVPR'2023) Искра (ICLR'2023) MFF (ICCV'2023)	Blip (arxiv'2022) BLIP-2 (arxiv'2023) Ofa (corr'2022) Фламинго (Neurips'2022) Китайский клип (arxiv'2022) Minigpt-4 (arxiv'2023) Llava (arxiv'2023) Выдра (arxiv'2023)	Задача поиска изображения: Arcface (CVPR'2019) Советы по обучению и тестированию: Рэндауг Autoaug Repeataugsampler TTA ...

Внося

Мы ценим все вклад в улучшение MMPretrain. Пожалуйста, обратитесь к контрабатированию для внесения руководства.

Подтверждение

MMPretrain - это проект с открытым исходным кодом, который вносится исследователи и инженеры из различных колледжей и компаний. Мы ценим всех участников, которые реализуют свои методы или добавляют новые функции, а также пользователей, которые дают ценные отзывы. Мы хотели бы, чтобы наборы инструментов и эталон могли служить растущему исследовательскому сообществу, предоставив гибкий инструментарий для повторного представления существующих методов и поддержки их собственных академических исследований.

Цитирование

Если вы найдете этот проект полезным в своем исследовании, пожалуйста, рассмотрите цит: CITE:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

Лицензия

Этот проект выпущен по лицензии Apache 2.0.

Проекты в OpenMMLAB

• Mmengine: OpenMMLAB Фондовая библиотека для обучения моделей глубокого обучения.
• MMCV: OpenMMLAB Фондовая библиотека для компьютерного зрения.
• MIM: MIM устанавливает пакеты OpenMMLAB.
• MMEVAL: Объединенная библиотека оценки для нескольких библиотек машинного обучения.
• MMPRETRAIN: OpenMMLAB Pre Training Toolbox и Clackmark.
• MMDETECTION: OpenMMLAB DETACTION Toolbox и Clackmark.
• MMDetection3d: платформа следующего поколения OpenMMLAB для общего обнаружения 3D объекта.
• MMROTATE: OpenMMLAB ROPTED DETACTION DETACTION DETACTION BOXE и CLAILMARK.
• MMYOLO: OpenMMLAB YOLO Series Series Toolbox и эталон.
• MMSEGMATION: OpenMMLAB SEMANTIC SEGMATION Toolbox и Clackmark.
• MMOCR: Обнаружение текста OpenMMLAB, распознавание и понимание инструментов.
• Mmpose: OpenMMLAB POSE OSTACTOR Toolbox и Clackmark.
• MMHUMAN3D: OpenMMLAB 3D Параметрическая модель Human Model Box и эталон.
• Mmselfsup: OpenMMLAB Self-Supervised Learning Toolbox и Clackmark.
• MMRazor: набор инструментов для сжатия модели OpenMMLAB и эталон.
• MMFewShot: OpenMMLAB MALESHOT LEARVING Toolbox и Clackmark.
• MMAction2: OpenMMLAB по вопросам действия «Понимание инструментов и теста».
• MMTracking: OpenMMLAB Video Perpection Toolbox и эталон.
• MMFLOW: OpenMMLAB OPTICAL FLOW Toolbox и эталон.
• MMAGIC: Open MM Lab A Dvanced, G Enerative и Intelligent C Refation Toolbox.
• MMGeneration: OpenMMLAB Image и видео -генеративные модели.
• Mmdeploy: OpenMMLAB Model Framework.
• Игровая площадка: центральный центр для сбора и демонстрации удивительных проектов, построенных на OpenMMLAB.