تنزيل mlreef - تنزيل رمز المصدر mlreef

mlreef

بايثون

1.0.0

تنزيل

منصة التعاون للتعلم الآلي

MLREEF هو منصة ML-OPS مفتوحة المصدر تساعدك على التعاون وإعادة إنتاج ومشاركة أعمال التعلم الآلي مع الآلاف من المستخدمين الآخرين.

هام: لم نعد ندعم ونحدث هذا المستودع. ما زلنا نعمل بنشاط على هذا المشروع ولكن على ريبونا الرئيسي في Gitlab .

ملريف

Mlreef عبارة عن منصة تطوير ML/DL تحتوي على أربعة أقسام رئيسية:

إدارة البيانات - استضافة البيانات المصنوعة بالكامل ومعالجة البنية التحتية
مستودعات رمز النشر - مستودعات نصية من الحاويات والنسخة للاستخدام غير القابل للتغيير في خطوط أنابيب البيانات
مدير التجربة - تتبع التجربة والبيئات والنتائج
ML-OPS-حل أنابيب وتنسيق لوظائف ML / DL (K8S / Cloud / Bare-Metal)

الاشتراك وابدأ التجربة في دقائق.

لمعرفة المزيد حول كيفية قيام MLREEF بتبسيط دورة حياة تطوير التعلم الآلي ، قم بزيارة صفحتنا الرئيسية

إدارة البيانات

استضافة بياناتك باستخدام مستودعات GIT / GIT LFS.
- العمل بشكل متزامن على البيانات
- إصدار إصدار بالكامل أو التحكم في إصدار LFS
- عرض كامل على معالجة البيانات وتاريخ التصور
قم بتوصيل سعة التخزين الخارجية إلى Mlreef واستخدم بياناتك مباشرة في خطوط الأنابيب
إدارة مجموعة البيانات (الوصول ، التاريخ ، خطوط الأنابيب)

رمز النشر

إضافة المعاملات الخاصة بك عبر Argparse ...

 # Example params for a ResNet50 script
def process_arguments ( args ):
    parser = argparse . ArgumentParser ( description = 'ResNet50' )
    parser . add_argument ( '--input-path' , action = 'store' , help = 'path to directory of images' )
    parser . add_argument ( '--output-path' , action = 'store' , default = '.' , help = 'path to output metrics' )
    parser . add_argument ( '--height' , action = 'store' , default = 224 , help = 'height of images (int)' )
    parser . add_argument ( '--width' , action = 'store' , default = 224 , help = 'width of images (int)' )
    parser . add_argument ( '--channels' , action = 'store' , default = 3 , help = 'channels of images: 1 = grayscale, 3 = RGB ,'
                                                                      '4=RGBA (int)' )
    parser . add_argument ( '--use-pretrained' , action = 'store' , default = True , help = 'use pretrained ResNet50 weights (bool)' )
    parser . add_argument ( '--epochs' , action = 'store' , default = 5 , help = 'number of epochs for training' )
    parser . add_argument ( '--batch-size' , action = 'store' , default = 32 , help = 'batch size fed to the neural network (int)' )
    parser . add_argument ( '--validation-split' , action = 'store' , default = .25 , help = 'fraction of images to be used for '
                                                                                'validation (float)' )
    parser . add_argument ( '--class-mode' , action = 'store' , default = 'binary' , help = '"categorical", "binary", "sparse",'
                                                                                    ' "input", or None' )
    parser . add_argument ( '--learning-rate' , action = 'store' , default = 0.0001 ,
                        help = 'learning rate of Adam Optimizer (float)'
                             '' )
    parser . add_argument ( '--loss' , action = 'store' , default = 'sparse_categorical_crossentropy' , help = 'loss function used to'
                                                                                           ' compile model' )
    params = vars ( parser . parse_args ( args ))
    return params

... ونشر البرامج النصية الخاصة بك يحصل على ما يلي:

حاوية البرامج النصية الخاصة بك
- تعمل دائمًا على عمل البرامج النصية بما في ذلك الوصول إلى الفائق السهل في خطوط الأنابيب
- بيئة التنفيذ (بما في ذلك الحزم والإصدارات المحددة)
- المفردات المفرطة
  - Argparser لمعلمات سطر الأوامر مع القيم المستخدمة حاليًا
  - المعلمات الصريحة قاموس
  - التحقق من صحة المدخلات والأدلة
حاويات متعددة بناءً على فروع الإصدار والرمز

مدير التجربة

سجل إعداد التجربة الكامل
- معلومات التحكم في المصادر الكاملة بما في ذلك التغييرات المحلية غير المخصصة
- بيئة التنفيذ (بما في ذلك الحزم والإصدارات المحددة)
- المفردات المفرطة
التجربة الكاملة الإخراج التلقائي
- تخزين القطع الأثرية وسجلات الإخراج القياسية
- مقاييس الأداء في التجارب الفردية والرسوم البيانية المقارنة لجميع التجارب
- عرض مفصل على السجلات والمخرجات التي تم إنشاؤها
الدعم الواسع للمنصة والتكامل
- مدعوم جميع أطر ML/DL المستندة إلى Python ، على سبيل المثال: Pytorch ، TensorFlow ، Keras أو Scikit-Learn

مل

خط أنابيب الحوسبة المتزامنة
الحوكمة والسيطرة
- الوصول وإدارة المستخدم
- إدارة الإذن الفردية
- إدارة الموارد
إدارة النموذج

العمارة Mlreef

مكونات MLREEF ML داخل دورة حياة ML:

مكونات تخزين البيانات تعتمد حاليًا على GIT و GIT LFS.
تطوير النماذج بناءً على وحدات العمل (التي نشرها المجتمع أو فريقك) ، إدارة البيانات ، معالجة البيانات / تصور البيانات / تجربة التجربة على الإدارة المستضافة أو داخل النماذج.
ML-OPS ORCESTRATION ، التجربة وسير العمل ، قابلية التوسع.

لماذا mlreef؟

MLREEF هو حلنا للمشكلة التي نشاركها مع عدد لا يحصى من الباحثين والمطورين الآخرين في عالم التعلم/التعلم العميق: تدريب نماذج التعلم العميق على مستوى الإنتاج هو عملية متشابكة. يتتبع Mlreef ويتحكم في العملية من خلال ربط التحكم في إصدار الكود ، ومشاريع البحث ، ومقاييس الأداء ، ومصلحة النماذج.

لقد صممنا MLREEF على أفضل ممارسات علوم البيانات إلى جانب المعرفة المكتسبة من DevOps والتركيز العميق على التعاون.