mmpretrain

الوثائق | التثبيت | ؟ موديل حديقة الحيوان | ؟ تحديث الأخبار | ؟ الإبلاغ عن القضايا

الإنجليزية | 简体中文

مقدمة

MMPRetrain هو صندوق أدوات التدريب قبل المصدر مفتوح المصدر يعتمد على pytorch. إنه جزء من مشروع OpenMMLAB.

يعمل الفرع main مع Pytorch 1.8+ .

ميزات رئيسية

• مختلف العمود الفقري والنماذج المسبقة
• استراتيجيات التدريب الغنية (التعلم الخاضع للإشراف ، والتعلم الخاضع للإشراف ذاتيا ، والتعلم متعدد الوسائط وما إلى ذلك)
• كيس من الحيل التدريبية
• تكوينات التدريب على نطاق واسع
• كفاءة عالية ومتوسطة
• مجموعات أدوات قوية لتحليل النموذج والتجارب
• مختلف مهام الاستدلال خارج الصندوق.
  • تصنيف الصور
  • تعليق الصورة
  • إجابة السؤال المرئي
  • الأساس البصري
  • الاسترجاع (صورة إلى صورة ، نص إلى صورة ، صورة إلى نص)

mmpretrain.mp4

ما الجديد

؟ تم إصدار v1.2.0 في 04/01/2023

• دعم llava 1.5.
• تنفيذ ذاكرة الوصول العشوائي مع واجهة Gradio.

؟ تم إصدار V1.1.0 في 12/10/2023

• دعم تدريب Mini-GPT4 وقدم نموذجًا صينيًا (استنادًا إلى Baichuan-7B)
• دعم تصنيف الصفر لقطة بناء على مقطع.

؟ تم إصدار V1.0.0 في 04/07/2023

• دعم دعم المزيد من الخوارزميات متعددة الوسائط ، مثل LLAVA ، MINIGPT-4 ، OTTER ، إلخ.
• دعم حوالي 10 مجموعات بيانات متعددة الوسائط !
• أضف ITPN ، خوارزميات التعلم الخاضعة للإشراف ذاتيا.
• قدم أمثلة على التكوين الجديد و Deepspeed/FSDP مع FlexIblerunner. فيما يلي روابط التوثيق الخاصة بالتكوين الجديد و Deepspeed/FSDP مع FlexIblerunner.

؟ الترقية من MMClassification إلى MMPRetrain

• خوارزميات تعليمية متكاملة خاضعة للإشراف ذاتيا من mmselfsup ، مثل Mae ، Beit ، إلخ.
• دعم Riformer ، العمود الفقري البسيط ولكن الفعال عن طريق إزالة الخلاط الرمزي.
• مجموعة بيانات مجموعة البيانات.
• دعم Levit ، XCIT ، VIG ، Convnext-V2 ، EVA ، Revvit ، DefficeNetv2 ، Clip ، Tinyvit و Mixmim Backbones.

قدم هذا الإصدار محرك تدريب واختبار جديد ومرن ، لكنه لا يزال قيد التقدم. مرحبًا بك في المحاولة وفقًا للوثائق.

وهناك بعض التغييرات في كسر BC. يرجى التحقق من البرنامج التعليمي للترحيل.

يرجى الرجوع إلى Changelog لمزيد من التفاصيل وتاريخ الإصدار الآخر.

تثبيت

فيما يلي خطوات سريعة للتثبيت:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

يرجى الرجوع إلى وثائق التثبيت للحصول على مزيد من التفصيل وإعداد مجموعة البيانات.

لدعم النماذج متعددة الوسائط ، يرجى تثبيت التبعيات الإضافية بواسطة:

mim install -e " .[multimodal] " 

أدلة المستخدم

قدمنا سلسلة من البرامج التعليمية حول الاستخدام الأساسي لـ MMPretrain للمستخدمين الجدد:

• تعرف على التكوينات
• إعداد مجموعة البيانات
• الاستدلال مع النماذج الحالية
• يدرب
• امتحان
• مهام المصب

لمزيد من المعلومات ، يرجى الرجوع إلى وثائقنا.

طراز حديقة الحيوان

النتائج والنماذج متوفرة في حديقة الحيوان النموذجية.

ملخص

دعم العمود الفقري	التعلم الخاضع للإشراف	خوارزميات متعددة الوسائط	آحرون
vgg Resnet RESNEXT se-resnet se-resnext regnet Shufflenet V1 Shufflenet V2 Mobilenet V2 Mobilenet V3 صوف التحويل swin transformer v2 repvgg تحويل الرؤية محول في التحويل res2net MLP-mixer Deit Deit-3 مطابقة T2T-Vit التوائم كفاءة Edgenext مقنع hrnet شاحنة convmixer CSPNET حمام السباحة بداية V3 MobileOne كفاءة mvit زنبور MobileVit ديفيت استبدال بيت mixmim كفاءة نيت V2 Revvit Convnext v2 VIG xcit ليفيت Riformer دبث فيت سام EVA02 دينو V2 فيروس نقص المناعة البشرية	MOCO V1 (CVPR'2020) Simclr (ICML'2020) MOCO V2 (ARXIV'2020) Byol (Neups'2020) Slav (Neups'2020) Densecl (CVPR'2021) Simsiam (CVPR'2021) توأم بارلو (ICML'2021) MOCO V3 (ICCV'2021) BEIT (ICLR'2022) ماي (CVPR'2022) Simmim (CVPR'2022) Maskfeat (CVPR'2022) CAE (ARXIV'2022) ميلان (arxiv'2022) BEIT V2 (ARXIV'2022) إيفا (CVPR'2023) Mixmim (Arxiv'2022) ITPN (CVPR'2023) Spark (ICLR'2023) MFF (ICCV'2023)	blip (arxiv'2022) blip-2 (arxiv'2023) OFA (Corr'2022) فلامنغو (Neups'2022) مقطع صيني (arxiv'2022) MINIGPT-4 (ARXIV'2023) llava (arxiv'2023) Otter (Arxiv'2023)	مهمة استرجاع الصورة: Arcface (CVPR'2019) نصائح التدريب والاختبار: رناق Autoaug REPERTAUGSAMPLER تا ...

المساهمة

نحن نقدر جميع المساهمات لتحسين MMPretrain. يرجى الرجوع إلى الحمل للمبادئ التوجيهية المساهمة.

شكر وتقدير

MMPretrain هو مشروع مفتوح المصدر الذي يساهم به الباحثون والمهندسون من مختلف الكليات والشركات. نحن نقدر جميع المساهمين الذين يقومون بتنفيذ أساليبهم أو يضيفون ميزات جديدة ، وكذلك المستخدمين الذين يقدمون تعليقات قيمة. نتمنى أن يخدم صندوق الأدوات والمعيار مجتمع الأبحاث المتنامي من خلال توفير مجموعة أدوات مرنة لإعادة تنفيذ الأساليب الحالية ودعم أبحاثهم الأكاديمية.

اقتباس

إذا وجدت هذا المشروع مفيدًا في بحثك ، فيرجى النظر في Cite:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

رخصة

يتم إصدار هذا المشروع بموجب ترخيص Apache 2.0.

مشاريع في openmmlab

• MMENGINE: مكتبة OpenMMLAB التأسيسية لتدريب نماذج التعلم العميق.
• MMCV: مكتبة التأسيس OpenMMLAB لرؤية الكمبيوتر.
• MIM: MIM يقوم بتثبيت حزم OpenMMLAB.
• Mmeval: مكتبة تقييم موحدة لمكتبات التعلم الآلي المتعددة.
• MMPretrain: OpenMMLAB قبل التدريب صندوق وأدوات التدريب.
• MMDetection: OpenMMLAB Detection Toolbox و Benchmark.
• MMDetection3D: منصة OpenMMLAB من الجيل التالي للكشف العام للكائنات ثلاثية الأبعاد.
• MMRotate: OpenMMLAB CONSTER DEFICE TOOLBOX و BENCMARK.
• MMYOLO: OpenMMLAB YOLO Series Toolbox و Benchmark.
• MMSegressation: OpenMMLAB SERTINANTIATINATION TOUMBOX و Benchmark.
• MMOCR: OpenMMLAB الكشف عن أدوات النص والتعرف عليه وفهمه.
• MMPOSE: OpenMMLAB POSE ANTERSITY TOOLBOX ومعيار.
• Mmhuman3d: OpenMmlab 3D Model Model Bostbox و Benchmark.
• mmselfsup: OpenMMLab أدوات التعلم الخاضعة للإشراف ذاتيا ومراسلة.
• MMrazor: OpenMMLAB Model Compression Toolbox and Benchmark.
• MMFEWSHOT: OpenMMLAB FILESHOT Learning Toolbox و Benchmark.
• MMACTION2: OpenMMLAB من ACTION ACTION ACTION ACTION TOOLBOX و Benchmark.
• Mmtracking: OpenMMLab تصور أدوات أدوات ومعيار.
• MMFLOW: OpenMMLAB OPTICAL FLOWBOX ومعيار.
• MMAGIC: Open MM Lab a dvanced ، g eneratior و i ntelligent c box.
• MMGeneration: OpenMMLAB Image and Video Generative Models Toolbox.
• MMDeploy: إطار نشر نموذج OpenMMLAB.
• ملعب: مركز مركزي لجمع وعرض مشاريع مذهلة مبنية على OpenMMLAB.