الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

colored_logo_with_text

سير العمل الغواصةبيثون-سد سير العمل

ما هي غواصة أباتشي؟

Apache Supmarine (الغواصة لفترة قصيرة) هي منصة للتعلم الآلي من طرف إلى طرف للسماح لعلماء البيانات بإنشاء سير عمل للتعلم الآلي من شوط إلى النهاية. في الغواصة ، يمكن لعلماء البيانات إنهاء كل مرحلة في دورة حياة طراز ML ، بما في ذلك استكشاف البيانات ، وإنشاء خط أنابيب البيانات ، والتدريب على النماذج ، والخدمة ، والمراقبة.

لماذا الغواصة؟

تحاول بعض المشاريع المفتوحة والمصدر التجاري بناء منصة ML شاملة. ما هي رؤية الغواصة؟

مشاكل

  1. تفتقر العديد من المنصات إلى واجهات المستخدم سهلة الاستخدام (API و SDK و IDE ، إلخ)
  2. في نفس الشركة ، عادة ما يقضي علماء البيانات في فرق مختلفة الكثير من الوقت على تطورات مجموعات الميزات الحالية والنماذج.
  3. يركز علماء البيانات على المهام الخاصة بالمجال (على سبيل المثال معدل النقر إلى الظهور) ، لكنهم يحتاجون إلى تنفيذ نماذجهم من نقطة الصفر مع SDKs المقدمة بواسطة المنصات الحالية.
  4. تفتقر العديد من المنصات إلى طاولة عمل موحدة لإدارة كل مكون في دورة حياة ML.

قال ثيودور ليفيت ذات مرة: 

 “People don’t want to buy a quarter-inch drill. They want a quarter-inch hole.”

أهداف الغواصة

تدريب النموذج (التجربة)

  • قم بتشغيل/تتبع experiment التدريب الموزعة على Prem أو Cloud عبر UI/API/SDK سهلة الاستخدام.
  • من السهل على علماء البيانات إدارة إصدارات experiment وتبعيات environment .
  • دعم أطر التعلم الآلي الشهير ، بما في ذلك TensorFlow و Pytorch و Horovod و Mxnet
  • وفر قالبًا محددًا مسبقًا لعلماء البيانات لتنفيذ المهام الخاصة بالمجال بسهولة (على سبيل المثال ، باستخدام قالب DEERFM لإنشاء نموذج تنبؤ CTR)
  • دعم العديد من موارد حساب (مثل وحدة المعالجة المركزية و GPU ، وما إلى ذلك)
  • دعم kubernetes والغزل
  • خط أنابيب هو أيضا على تراكم ، وسوف نبحث في خط أنابيب للتدريب في المستقبل.

خدمة دفتر

  • تهدف Supmarine إلى توفير خدمة دفتر ملاحظات (مثل Jupyter Notebook) والتي تتيح للمستخدمين إدارة مثيلات دفتر الملاحظات التي تعمل على المجموعة.

إدارة النماذج (التقديم/الإصدار/المراقبة ، إلخ)

  • إدارة النماذج لخدمة النماذج/الإصدار/المراقبة موجودة على خريطة الطريق.

واجهة المستخدم سهلة الاستخدام

كما ذكر أعلاه ، تحاول الغواصة توفير واجهة مستخدم سهلة الاستخدام للبيانات لجعل علماء البيانات يتمتعون بتجربة مستخدم جيدة. هنا بعض الأمثلة.

مثال: إرسال تجربة موزعة TensorFlow عبر غواصة Python SDK

قم بتشغيل تجربة Tensorflow Mnist 

 # New a submarine client of the submarine server
submarine_client = submarine . ExperimentClient ( host = 'http://localhost:8080' )

# The experiment's environment, could be Docker image or Conda environment based
environment = EnvironmentSpec ( image = 'apache/submarine:tf-dist-mnist-test-1.0' )

# Specify the experiment's name, framework it's using, namespace it will run in,
# the entry point. It can also accept environment variables. etc.
# For PyTorch job, the framework should be 'Pytorch'.
experiment_meta = ExperimentMeta ( name = 'mnist-dist' ,
                                 namespace = 'default' ,
                                 framework = 'Tensorflow' ,
                                 cmd = 'python /var/tf_dist_mnist/dist_mnist.py --train_steps=100' )
# 1 PS task of 2 cpu, 1GB
ps_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                             replicas = 1 )
# 1 Worker task
worker_spec = ExperimentTaskSpec ( resources = 'cpu=2,memory=1024M' ,
                                 replicas = 1 )

# Wrap up the meta, environment and task specs into an experiment.
# For PyTorch job, the specs would be "Master" and "Worker".
experiment_spec = ExperimentSpec ( meta = experiment_meta ,
                                 environment = environment ,
                                 spec = { 'Ps' : ps_spec , 'Worker' : worker_spec })

# Submit the experiment to submarine server
experiment = submarine_client . create_experiment ( experiment_spec = experiment_spec )

# Get the experiment ID
id = experiment [ 'experimentId' ]

الاستعلام عن تجربة محددة 

 submarine_client . get_experiment ( id )

انتظر الانتهاء 

 submarine_client . wait_for_finish ( id )

احصل على سجل التجربة 

 submarine_client . get_log ( id )

احصل على كل تجربة التشغيل 

 submarine_client . list_experiments ( status = 'running' )

لبدء سريع ، انظر الغواصة على K8S

مثال: إرسال وظيفة قالب تجربة محددة مسبقًا

مثال: إرسال تجربة عبر واجهة المستخدم الغواصة

(متاح على 0.5.0 ، انظر خريطة الطريق)

الهندسة المعمارية والتصميم والمتطلبات

إذا كنت ترغب في معرفة المزيد عن بنية الغواصة والمكونات والمتطلبات وموظف التصميم ، فيمكن العثور عليها في الهندسة المعمارية والتراجع

يمكن العثور على وثائق التصميم التفصيلية ، وملاحظات التنفيذ على: ملاحظات التنفيذ

مجتمع غواصة أباتشي

اقرأ دليل مجتمع Apache Supmarine

كيفية المساهمة دليل المساهمة

قناة Supmarine Supmarine: https://join.slack.com/t/asf-submarine/shared_invite

تتبع القضية: https://issues.apache.org/jira/projects/submarine

مستند المستخدم

انظر الصفحة الرئيسية دليل المستخدم

وثيقة المطور

انظر الصفحة الرئيسية دليل المطورين

خريطة الطريق

ماذا تعرف المزيد عن ما سيحدث للغواصة؟ يرجى التحقق من خارطة الطريق: https://cwiki.apache.org/confluence/display/submarine/roadmap

Changelog

من هنا ، يمكنك معرفة changelog ومقبض المشكلات لإصدار مختلف من غواصة Apache.

موارد

Apache Supmarine: منصة تعلم آلي موحدة جعلت بسيطة في Euromlsys '22

رخصة

تم ترخيص مشروع Apache Supmarine بموجب ترخيص Apache 2.0. انظر ملف الترخيص للحصول على التفاصيل.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل