mmpretrain

ドキュメント|インストール| ？モデル動物園| ？ニュースを更新| ？報告の問題

英語| 简体中文

導入

Mmpretrainは、Pytorchに基づくオープンソースのプリトレーニングツールボックスです。 OpenMMLabプロジェクトの一部です。

mainブランチは、Pytorch 1.8+で動作します。

主な機能

• さまざまなバックボーンと前処理されたモデル
• 豊富なトレーニング戦略（監督された学習、自己学習学習、マルチモダリティ学習など）
• トレーニングトリックの袋
• 大規模なトレーニング構成
• 高効率と拡張性
• モデル分析と実験のための強力なツールキット
• さまざまなボックス外の推論タスク。
  • 画像分類
  • 画像キャプション
  • 視覚的な質問応答
  • 視覚的な接地
  • 検索（画像から画像、テキスト間、画像からテキストからテキスト）

mmpretrain.mp4

新着情報

？ V1.2.0は04/01/2023にリリースされました

• Llava 1.5をサポートします。
• グラデーションインターフェイスを使用したRAMの実装。

？ V1.1.0は2023年12月10日にリリースされました

• Mini-GPT4トレーニングをサポートし、中国モデルを提供します（Baichuan-7Bに基づく）
• クリップに基づいたゼロショット分類をサポートします。

？ V1.0.0は04/07/2023にリリースされました

• Llava 、 Minigpt-4 、 Otterなど、より多くのマルチモーダルアルゴリズムのサポート推論。
• 約10のマルチモーダルデータセットをサポートしてください！
• ITPNを追加し、Spark自己監視学習アルゴリズムをスパークします。
• FlexiBlerunnerを使用して、新しい構成とDeepSpeed/FSDPの例を提供します。 FlexiBlerunnerを使用した新しい構成とDeepSpeed/FSDPのドキュメントリンクを次に示します。

？ mmclassificationからmmpretrainへのアップグレード

• MAE 、 BEITなど、 MMSelfsupからの統合された自己監視学習アルゴリズム。
• トークンミキサーを削除することにより、シンプルだが効果的な視覚バックボーンであるRifialterをサポートします。
• リファクタリングデータセットパイプラインの視覚化。
• レビット、 XCIT 、 VIG 、 Convnext-V2 、 EVA 、 Revvit 、 EfficientNetv2 、 Clip 、 TinyVit 、 MixMimバックボーンをサポートします。

このリリースは、真新しく柔軟なトレーニングとテストエンジンを導入しましたが、まだ進行中です。ドキュメントに従ってお試しください。

また、BCを破る変更がいくつかあります。移行チュートリアルを確認してください。

詳細やその他のリリース履歴については、Changelogを参照してください。

インストール

以下は、インストールのための簡単な手順です。

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

より詳細なインストールとデータセットの準備については、インストールドキュメントを参照してください。

マルチモダリティモデルのサポートについては、次の追加依存関係をインストールしてください。

mim install -e " .[multimodal] " 

ユーザーガイド

新規ユーザー向けのMMPRetrainの基本的な使用に関する一連のチュートリアルを提供しました。

• 構成について学びます
• データセットを準備します
• 既存のモデルへの推論
• 電車
• テスト
• ダウンストリームタスク

詳細については、ドキュメントを参照してください。

モデル動物園

結果とモデルは、モデル動物園で利用できます。

概要

サポートされているバックボーン	自己教師の学習	マルチモダリティアルゴリズム	その他
vgg resnet snnext se-resnet se-Resnext regnet Shufflenet V1 Shufflenet V2 Mobilenet V2 Mobilenet V3 Swin-Transformer SWIN-TRANSFORMER V2 repvgg ビジョン変換器 変換器の変圧器 RES2NET MLP-Mixer deit deit-3 コンフォーマー T2T-vit 双子 EfficientNet edgenext Convnext hrnet バン Convmixer cspnet プールフォーマー インセプションV3 MobileOne EfficientFormer mvit ホーネット mobilevit ダビット replknet beit mixmim EfficientNet V2 Revvit Convnext v2 vig xcit レビット Riformer glip Vit Sam EVA02 ディノV2 hivit	Moco V1（CVPR'2020） SIMCLR（ICML'2020） Moco V2（arxiv'2020） BYOL（Neurips'2020） swav（neurips'2020） densecl（cvpr'2021） SimSiam（CVPR'2021） バーロウツインズ（ICML'2021） Moco V3（ICCV'2021） beit（iclr'2022） Mae（CVPR'2022） Simmim（CVPR'2022） Maskfeat（CVPR'2022） CAE（arxiv'2022） ミラノ（arxiv'2022） Beit V2（arxiv'2022） EVA（CVPR'2023） mixmim（arxiv'2022） ITPN（CVPR'2023） Spark（ICLR'2023） MFF（ICCV'2023）	ブリップ（arxiv'2022） Blip-2（arxiv'2023） ofa（corr'2022） フラミンゴ（Neurips'2022） 中国のクリップ（arxiv'2022） Minigpt-4（arxiv'2023） llava（arxiv'2023） Otter（arxiv'2023）	画像検索タスク： arcface（cvpr'2019） トレーニングとテストのヒント： ランダウグ AutoAug Repeataugsampler TTA ...

貢献

Mmpretrainを改善するためのすべての貢献に感謝します。貢献ガイドラインについては、論争を参照してください。

了承

Mmpretrainは、さまざまな大学や企業の研究者やエンジニアによって提供されるオープンソースプロジェクトです。メソッドを実装したり、新機能を追加したりするすべての貢献者と、貴重なフィードバックを提供するユーザーに感謝します。ツールボックスとベンチマークは、既存の方法を再実装するための柔軟なツールキットを提供し、独自の学術研究をサポートすることにより、成長する研究コミュニティに役立つことを願っています。

引用

このプロジェクトがあなたの研究で役立つと思う場合は、引用を検討してください。

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でリリースされます。

OpenMMLabのプロジェクト

• MMENGINE：Deep LearningモデルをトレーニングするためのOpenMMLabファンデーションライブラリ。
• MMCV：Computer VisionのOpenMMLabファンデーションライブラリ。
• MIM：MIMはOpenMMLabパッケージをインストールします。
• Mmeval：複数の機械学習ライブラリの統一された評価ライブラリ。
• MMPRETRAIN：OpenMMLab事前トレーニングツールボックスとベンチマーク。
• MMDETECTION：OpenMMLAB検出ツールボックスとベンチマーク。
• MMDETECTION3D：一般的な3Dオブジェクト検出のためのOpenMMLabの次世代プラットフォーム。
• mmrotate：OpenMMLab回転オブジェクト検出ツールボックスとベンチマーク。
• Mmyolo：OpenMMLab Yoloシリーズのツールボックスとベンチマーク。
• MMSegemation：OpenMMLabセマンティックセグメンテーションツールボックスとベンチマーク。
• MMOCR：OpenMMLABテキストの検出、認識、および理解ツールボックス。
• MMOPSE：OpenMMLabは、推定ツールボックスとベンチマークをポーズします。
• MMHUMAN3D：OpenMMLab 3D Human Parametric Model Toolboxとベンチマーク。
• mmselfsup：openmmlab自己監視学習ツールボックスとベンチマーク。
• MMRAZOR：OpenMMLabモデル圧縮ツールボックスとベンチマーク。
• mmfewshot：Openmmlab少数の学習ツールボックスとベンチマーク。
• MMACTION2：OpenMMLabの次世代アクション理解ツールボックスとベンチマーク。
• MMTracking：OpenMMLabビデオ認識ツールボックスとベンチマーク。
• MMFLOW：OpenMMLab光フローツールボックスとベンチマーク。
• MMAGIC：Open MM Lab A DVanced、 G EnerativeおよびI ntelligent C Reation Toolbox。
• MMGeneration：OpenMMLab画像およびビデオ生成モデルツールボックス。
• mmdeploy：openmmlabモデルの展開フレームワーク。
• 遊び場：OpenMMLabに基づいて構築された素晴らしいプロジェクトを集めて紹介するための中央のハブ。