mmpretrain

文檔|安裝| ？模型動物園| ？更新新聞| ？報告問題

英語| 簡體中文

介紹

MMMPRETRAIN是基於Pytorch的開源預訓練工具箱。它是OpenMMLAB項目的一部分。

main分支與Pytorch 1.8+一起使用。

主要功能

• 各種骨乾和預算的型號
• 豐富的培訓策略（監督學習，自學學習，多模式學習等）
• 培訓技巧
• 大規模培訓配置
• 高效率和可擴展性
• 強大的工具包用於模型分析和實驗
• 各種隔開推理任務。
  • 圖像分類
  • 圖像標題
  • 視覺問題回答
  • 視覺接地
  • 檢索（圖像到圖像，文本對圖像，圖像到文本）

mmpretrain.mp4

什麼是新的

？ v1.2.0於04/01/2023發布

• 支持Llava 1.5。
• 帶有Gradio接口的RAM實施。

？ v1.1.0於12/10/2023發布

• 支持Mini-GPT4培訓並提供中國模型（基於Baichuan-7b）
• 基於剪輯支持零射擊分類。

？ V1.0.0於2010年4月7日發布

• 支持更多多模式算法的推斷，例如Llava ， Minigpt-4 ， Otter等。
• 支持大約10個多模式數據集！
• 添加ITPN ，火花自我監督的學習算法。
• 提供具有Flexiblerunner的新配置和DeepSpeed/FSDP的示例。這是帶有FlexiBlerunner的新配置和DeepSpeed/FSDP的文檔鏈接。

？從MMClassification升級到MMMPRATIAN

• 來自MMSelfsup （例如Mae ， Beit等）的綜合自我監督學習算法
• 支持Riformer ，這是一種簡單但有效的視覺主鏈，通過卸下令牌混合器。
• 重構數據集管道可視化。
• 支持Levit ， Xcit ， VIG ， Convnext-V2 ， Eva ， Revvit ， EdgitionNetV2 ，夾子， TinyVit和MixMim骨架。

該版本推出了全新的靈活培訓和測試引擎，但仍在進行中。歡迎根據文檔嘗試。

而且有一些破壞性的變化。請檢查遷移教程。

有關更多詳細信息和其他發布歷史記錄，請參考ChangElog。

安裝

以下是安裝快速步驟：

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

請參閱安裝文檔以獲取更詳細的安裝和數據集準備。

對於多模式模型支持，請通過以下方式安裝額外的依賴項：

mim install -e " .[multimodal] " 

用戶指南

我們為新用戶提供了一系列有關MMMPRRETAIN的基本用法的教程：

• 了解配置
• 準備數據集
• 與現有模型的推斷
• 火車
• 測試
• 下游任務

有關更多信息，請參閱我們的文檔。

模型動物園

模型動物園中可用結果和模型。

概述

支撐的骨幹	自我監督的學習	多模式算法	其他的
VGG 重新連接 Resnext Se-Resnet Se-Resnext regnet Shufflenet V1 Shufflenet V2 Mobilenet V2 Mobilenet V3 Swin-Transformer Swin-Transformer V2 repvgg 視力轉化器 變壓器變壓器 Res2net MLP混合 deit DEIT-3 構象體 T2T-VIT 雙胞胎 有效網絡 EDGENEXT Consnext hrnet 麵包車 Convmixer CSPNET 泳池形式 Inception V3 Mobileone 有效形式 mvit 大黃蜂 行動裝置 戴維特 replknet 貝特 混合媒體 效率網v2 revvit Convnext V2 維 XCIT Levit 皮 Glip Vit Sam EVA02 Dino V2 HIVIT	Moco V1（CVPR'2020） SIMCLR（ICML'2020） Moco V2（Arxiv'2020） BYOL（Neurips'2020） SHAV（Neurips'2020） Densecl（CVPR'2021） Simsiam（CVPR'2021） Barlow Twins（ICML'2021） MOCO V3（ICCV'2021） Beit（ICL'2022） MAE（CVPR'2022） simmim（CVPR'2022） MaskFeat（CVPR'2022） CAE（Arxiv'2022） 米蘭（Arxiv'2022） Beit V2（Arxiv'2022） EVA（CVPR'2023） MixMim（Arxiv'2022） ITPN（CVPR'2023） 火花（ICL'2023） MFF（ICCV'2023）	blip（arxiv'2022） Blip-2（Arxiv'2023） Ofa（Corr'2022） 火烈鳥（Neurips'2022） 中國剪輯（Arxiv'2022） Minigpt-4（Arxiv'2023） llava（arxiv'2023） Otter（Arxiv'2023）	圖像檢索任務： Arcface（CVPR'2019） 培訓和測試提示： 蘭德格 自動 repoteaugsampler TTA ...

貢獻

我們感謝為改善MMMPRETAIN的所有貢獻。請參閱與貢獻指南相反的情況。

致謝

MMMPRETRAIN是一個開源項目，由來自各學院和公司的研究人員和工程師貢獻。我們感謝所有實施方法或添加新功能的貢獻者以及提供寶貴反饋的用戶。我們希望該工具箱和基準可以通過提供靈活的工具包來重新實現現有方法並支持自己的學術研究來為不斷增長的研究社區提供服務。

引用

如果您發現此項目對您的研究有用，請考慮引用：

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

執照

該項目以Apache 2.0許可發布。

OpenMMLAB的項目

• Mmengine：用於培訓深度學習模型的OpenMMLAB基礎圖書館。
• MMCV：計算機視覺的OpenMMLAB基礎庫。
• MIM：MIM安裝OpenMMLAB軟件包。
• MMEVAL：用於多個機器學習庫的統一評估庫。
• MMMPRETRAIN：OpenMMLAB預訓練工具箱和基準測試。
• mmDetection：OpenMMLAB檢測工具箱和基準測試。
• MMDetection3D：OpenMMLAB的一般3D對象檢測的下一代平台。
• mmrotate：OpenMMLAB旋轉對象檢測工具箱和基準測試。
• Myolo：OpenMMLAB YOLO系列工具箱和基準測試。
• MMSementation：OpenMMLAB語義分割工具箱和基準測試。
• MMOCR：OpenMMLAB文本檢測，識別和理解工具箱。
• mmpose：OpenMMLAB姿勢估計工具箱和基準。
• mmhuman3d：OpenMMLAB 3D人類參數模型工具箱和基準測試。
• MMSelfSup：OpenMMLAB自製學習工具箱和基準。
• mmrazor：OpenMMLAB模型壓縮工具箱和基準測試。
• mmfewshot：OpenMMLAB LIGHSHOT LEALLED TOOLBAX和BENCHMARK。
• MMACTION2：OpenMMLAB的下一代動作理解工具箱和基準測試。
• mmmtracking：OpenMMLAB視頻感知工具箱和基準測試。
• MMFlow：OpenMMLAB光流動工具箱和基準測試。
• mmagic：開放MM實驗室A DVANCAND， G ENTIRATIVE和ITELLIPENT C REATION工具箱。
• mmgeneration：OpenMMLAB圖像和視頻生成模型工具箱。
• mmdeploy：OpenMMLAB模型部署框架。
• 遊樂場：一個集中樞紐，用於收集和展示基於OpenMmlab的驚人項目。