mmpretrain

文档|安装| ？模型动物园| ？更新新闻| ？报告问题

英语| 简体中文

介绍

MMMPRETRAIN是基于Pytorch的开源预训练工具箱。它是OpenMMLAB项目的一部分。

main分支与Pytorch 1.8+一起使用。

主要功能

• 各种骨干和预算的型号
• 丰富的培训策略（监督学习，自学学习，多模式学习等）
• 培训技巧
• 大规模培训配置
• 高效率和可扩展性
• 强大的工具包用于模型分析和实验
• 各种隔开推理任务。
  • 图像分类
  • 图像标题
  • 视觉问题回答
  • 视觉接地
  • 检索（图像到图像，文本对图像，图像到文本）

mmpretrain.mp4

什么是新的

？ v1.2.0于04/01/2023发布

• 支持Llava 1.5。
• 带有Gradio接口的RAM实施。

？ v1.1.0于12/10/2023发布

• 支持Mini-GPT4培训并提供中国模型（基于Baichuan-7b）
• 基于剪辑支持零射击分类。

？ V1.0.0于2010年4月7日发布

• 支持更多多模式算法的推断，例如Llava ， Minigpt-4 ， Otter等。
• 支持大约10个多模式数据集！
• 添加ITPN ，火花自我监督的学习算法。
• 提供具有Flexiblerunner的新配置和DeepSpeed/FSDP的示例。这是带有FlexiBlerunner的新配置和DeepSpeed/FSDP的文档链接。

？从MMClassification升级到MMMPRATIAN

• 来自MMSelfsup （例如Mae ， Beit等）的综合自我监督学习算法
• 支持Riformer ，这是一种简单但有效的视觉主链，通过卸下令牌混合器。
• 重构数据集管道可视化。
• 支持Levit ， Xcit ， VIG ， Convnext-V2 ， Eva ， Revvit ， EdgitionNetV2 ，夹子， TinyVit和MixMim骨架。

该版本推出了全新的灵活培训和测试引擎，但仍在进行中。欢迎根据文档尝试。

而且有一些破坏性的变化。请检查迁移教程。

有关更多详细信息和其他发布历史记录，请参考ChangElog。

安装

以下是安装快速步骤：

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

请参阅安装文档以获取更详细的安装和数据集准备。

对于多模式模型支持，请通过以下方式安装额外的依赖项：

mim install -e " .[multimodal] " 

用户指南

我们为新用户提供了一系列有关MMMPRRETAIN的基本用法的教程：

• 了解配置
• 准备数据集
• 与现有模型的推断
• 火车
• 测试
• 下游任务

有关更多信息，请参阅我们的文档。

模型动物园

模型动物园中可用结果和模型。

概述

支撑的骨干	自我监督的学习	多模式算法	其他的
VGG 重新连接 Resnext Se-Resnet Se-Resnext regnet Shufflenet V1 Shufflenet V2 Mobilenet V2 Mobilenet V3 Swin-Transformer Swin-Transformer V2 repvgg 视力转化器 变压器变压器 Res2net MLP混合 deit DEIT-3 构象体 T2T-VIT 双胞胎 有效网络 EDGENEXT Consnext hrnet 面包车 Convmixer CSPNET 泳池形式 Inception V3 Mobileone 有效形式 mvit 大黄蜂 移动设备 戴维特 replknet 贝特 混合媒体 效率网v2 revvit Convnext V2 维 XCIT Levit 皮 Glip Vit Sam EVA02 Dino V2 HIVIT	Moco V1（CVPR'2020） SIMCLR（ICML'2020） Moco V2（Arxiv'2020） BYOL（Neurips'2020） SHAV（Neurips'2020） Densecl（CVPR'2021） Simsiam（CVPR'2021） Barlow Twins（ICML'2021） MOCO V3（ICCV'2021） Beit（ICL'2022） MAE（CVPR'2022） simmim（CVPR'2022） MaskFeat（CVPR'2022） CAE（Arxiv'2022） 米兰（Arxiv'2022） Beit V2（Arxiv'2022） EVA（CVPR'2023） MixMim（Arxiv'2022） ITPN（CVPR'2023） 火花（ICL'2023） MFF（ICCV'2023）	blip（arxiv'2022） Blip-2（Arxiv'2023） Ofa（Corr'2022） 火烈鸟（Neurips'2022） 中国剪辑（Arxiv'2022） Minigpt-4（Arxiv'2023） llava（arxiv'2023） Otter（Arxiv'2023）	图像检索任务： Arcface（CVPR'2019） 培训和测试提示： 兰德格 自动 repoteaugsampler TTA ...

贡献

我们感谢为改善MMMPRETAIN的所有贡献。请参阅与贡献指南相反的情况。

致谢

MMMPRETRAIN是一个开源项目，由来自各学院和公司的研究人员和工程师贡献。我们感谢所有实施方法或添加新功能的贡献者以及提供宝贵反馈的用户。我们希望该工具箱和基准可以通过提供灵活的工具包来重新实现现有方法并支持自己的学术研究来为不断增长的研究社区提供服务。

引用

如果您发现此项目对您的研究有用，请考虑引用：

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

执照

该项目以Apache 2.0许可发布。

OpenMMLAB的项目

• Mmengine：用于培训深度学习模型的OpenMMLAB基础图书馆。
• MMCV：计算机视觉的OpenMMLAB基础库。
• MIM：MIM安装OpenMMLAB软件包。
• MMEVAL：用于多个机器学习库的统一评估库。
• MMMPRETRAIN：OpenMMLAB预训练工具箱和基准测试。
• mmDetection：OpenMMLAB检测工具箱和基准测试。
• MMDetection3D：OpenMMLAB的一般3D对象检测的下一代平台。
• mmrotate：OpenMMLAB旋转对象检测工具箱和基准测试。
• Myolo：OpenMMLAB YOLO系列工具箱和基准测试。
• MMSementation：OpenMMLAB语义分割工具箱和基准测试。
• MMOCR：OpenMMLAB文本检测，识别和理解工具箱。
• mmpose：OpenMMLAB姿势估计工具箱和基准。
• mmhuman3d：OpenMMLAB 3D人类参数模型工具箱和基准测试。
• MMSelfSup：OpenMMLAB自制学习工具箱和基准。
• mmrazor：OpenMMLAB模型压缩工具箱和基准测试。
• mmfewshot：OpenMMLAB LIGHSHOT LEALLED TOOLBAX和BENCHMARK。
• MMACTION2：OpenMMLAB的下一代动作理解工具箱和基准测试。
• mmmtracking：OpenMMLAB视频感知工具箱和基准测试。
• MMFlow：OpenMMLAB光流动工具箱和基准测试。
• mmagic：开放MM实验室A DVANCAND， G ENTIRATIVE和ITELLIPENT C REATION工具箱。
• mmgeneration：OpenMMLAB图像和视频生成模型工具箱。
• mmdeploy：OpenMMLAB模型部署框架。
• 游乐场：一个集中枢纽，用于收集和展示基于OpenMmlab的惊人项目。