Production Level Deep Learning

دليل إلى مستوى الإنتاج التعلم العميق؟ ⛴

؟ الترجمة باللغة الصينية

؟ ️ جديد: مقابلات التعلم الآلي

️ ملاحظة: هذا الريبو يخضع للتطوير المستمر ، وجميع التعليقات والمساهمة موضع ترحيب للغاية؟

قد يكون نشر نماذج التعلم العميق في الإنتاج أمرًا صعبًا ، لأنه يتجاوز بكثير نماذج التدريب بأداء جيد. يجب تصميم وتطوير العديد من المكونات المتميزة من أجل نشر نظام التعلم العميق على مستوى الإنتاج (كما هو موضح أدناه):

يهدف هذا الريبو إلى أن يكون مبادئ توجيهية هندسية لبناء أنظمة التعلم العميق على مستوى الإنتاج والتي سيتم نشرها في تطبيقات العالم الحقيقي.

يتم استعارة المواد المقدمة هنا من المعسكر الكامل للتعلم العميق (بقلم بيتر أببيل في جامعة كاليفورنيا في بيركلي ، وجوش توبين في Openai ، و Sergey Karayev في Turnitin) ، و TFX Workshop by Robert Crowe ، و Pipeline.ai.

مشاريع التعلم الآلي

هزار ؟ حقيقة: 85 ٪ من مشاريع الذكاء الاصطناعي تفشل . وتشمل أسباب ^محتملة :

• من الناحية الفنية غير الممكن أو السيئة النطاق
• لا تقفز أبدًا إلى الإنتاج
• معايير نجاح غير واضحة (مقاييس)
• سيئ إدارة الفريق

1. ML Project

• أهمية فهم الحالة الفنية في مجالك:
  • يساعد على فهم ما هو ممكن
  • يساعد على معرفة ما يجب تجربته بعد ذلك

2. النموذج العقلي لمشروع ML

العاملان المهمين في الاعتبار عند تحديد وإعطاء أولويات مشاريع ML:

• تأثير كبير:
  • الأجزاء المعقدة من خط الأنابيب الخاص بك
  • حيث "التنبؤ الرخيص" قيمة
  • حيث يكون أتمتة العملية اليدوية المعقدة ذات قيمة
• التكلفة المنخفضة:
  • التكلفة مدفوعة:
    • توافر البيانات
    • متطلبات الأداء: تميل التكاليف إلى توسيع نطاق الخطن في متطلبات الدقة
    • صعوبة المشكلة:
      • تشمل بعض المشكلات الصعبة: التعلم غير الخاضع للإشراف ، والتعلم التعزيز ، وفئات معينة من التعلم الخاضع للإشراف

خط أنابيب مكدس كامل

يمثل الشكل التالي نظرة عامة عالية على مستوى المكونات في نظام التعلم العميق على مستوى الإنتاج:

في ما يلي ، سنذهب عبر كل وحدة ونوصي مجموعات الأدوات والأطر وكذلك أفضل الممارسات من الممارسين الذين يتناسبون مع كل مكون.

1. إدارة البيانات

1.1 مصادر البيانات

• يتطلب التعلم العميق الخاضع للإشراف الكثير من البيانات المسمى
• وصف البيانات الخاصة مكلفة!
• فيما يلي بعض الموارد للبيانات:
  • بيانات مفتوحة المصدر (من الجيد أن تبدأ ، ولكن ليس ميزة)
  • تكبير البيانات (لا بد من رؤية الكمبيوتر ، خيار لـ NLP)
  • البيانات الاصطناعية (تستحق دائمًا أن تبدأ ، esp في NLP)

1.2 وضع وصف البيانات

• يتطلب: مكدس برمجيات منفصل (منصات وضع العلامات) ، العمل المؤقت ، مراقبة الجودة
• مصادر العمل لوضع العلامات:
  • التعهيد الجماعي (تركي ميكانيكي): رخيصة وقابلة للتطوير ، أقل موثوقية ، يحتاج إلى QC
  • توظيف المذيعين الخاصين: أقل من الحاجة إلى QC ، باهظة الثمن ، بطيئة في الحجم
  • شركات خدمة وصف البيانات:
    • الشكل
• منصات وضع العلامات:
  • Diffgram: برنامج تدريب بيانات (رؤية الكمبيوتر)
  • Prodigy: أداة تعليق توضيحية مدعوم من التعلم النشط (من قبل مطوري Spacy) ، النص والصورة
  • Hive: AI كمنصة خدمة لرؤية الكمبيوتر
  • من المثير للإعجاب: منصة رؤية الكمبيوتر بأكملها
  • صندوق الملصقات: رؤية الكمبيوتر
  • Scale Scale AI Data Platform (Computer Vision & NLP)

1.3. تخزين البيانات

• خيارات تخزين البيانات:
  • مخزن الكائن : تخزين البيانات الثنائية (الصور ، ملفات الصوت ، نصوص مضغوطة)
    • Amazon S3
    • متجر Ceph Object
  • قاعدة البيانات : تخزين البيانات الوصفية (مسارات الملفات ، الملصقات ، نشاط المستخدم ، إلخ).
    • Postgres هو الخيار الصحيح لمعظم التطبيقات ، مع أفضل SQL في فئتها ودعم كبير لـ JSON غير المهيكلة.
  • بحيرة البيانات : لتجميع الميزات التي لا يمكن الحصول عليها من قاعدة البيانات (مثل السجلات)
    • Amazon Redshift
  • متجر الميزات : المتجر والوصول إلى ميزات التعلم الآلي (يمكن أن يكون استخراج الميزات مكلفًا من الناحية الحسابية ويكاد يكون من المستحيل توسيع نطاقه ، وبالتالي إعادة استخدام الميزات بواسطة طرز وفرق مختلفة هو مفتاح الفرق ML عالية الأداء).
    • Feast (Google Cloud ، Open Source)
    • لوحة مايكل أنجلو (أوبر)
• اقتراح: في وقت التدريب ، نسخ البيانات إلى نظام ملفات محلي أو شبكي (NFS). ¹

1.4. إصدار البيانات

• إنها "لا بد منها" لنماذج ML المنشورة:
  نماذج ML المنشورة هي رمز جزء ، بيانات جزء . ¹ لا يوجد إصدار بيانات لا يعني أي إصدار نموذج.
• منصات إصدار البيانات:
  • DVC: نظام التحكم في الإصدار مفتوح المصدر لمشاريع ML
  • Pachyderm: التحكم في الإصدار للبيانات
  • Dolt: قاعدة بيانات SQL مع التحكم في الإصدار الشبيهة بالجيت للبيانات والمخطط

1.5. معالجة البيانات

• قد تأتي بيانات التدريب لنماذج الإنتاج من مصادر مختلفة ، بما في ذلك البيانات المخزنة في DB ومخازن الكائنات ومعالجة السجل ومخرجات المصنفات الأخرى .
• هناك تبعيات بين المهام ، يجب أن يتم تشغيل كل منها بعد انتهاء تبعياتها. على سبيل المثال ، يتطلب التدريب على بيانات السجل الجديدة خطوة قبل المعالجة قبل التدريب.
• Makefiles ليست قابلة للتطوير. "مدير سير العمل" يصبح ضروريًا جدًا في هذا الصدد.
• تزامن سير العمل:
  • لويجي بواسطة سبوتيفي
  • تدفق الهواء بواسطة Airbnb: ديناميكي ، قابل للتمديد ، أنيق ، قابل للتطوير (الأكثر استخدامًا)
    • سير العمل DAG
    • التنفيذ الشرطي القوي: إعادة المحاولة في حالة الفشل
    • يدعم Puster صور Docker مع خدمة TensorFlow
    • سير عمل كامل في ملف .py واحد

2. التنمية والتدريب والتقييم

2.1. هندسة البرمجيات

• لغة الفائز: بيثون
• المحررين:
  • همة
  • emacs
  • VS Code (أوصت به المؤلف): انطلاق GIT المدمج والفوضى ، رمز الوبر ، مفتوح المشاريع عن بعد من خلال SSH
  • دفاتر الملاحظات: رائعة كنقطة انطلاق للمشاريع ، يصعب توسيع نطاقها (حقيقة ممتعة: تعتبر بنية Netflix التي يحركها دفتر Netflix استثناءً ، والذي يعتمد بالكامل على أجنحة Nteract).
    • Nteract: واجهة المستخدم المستندة إلى الجيل التالي من أجهزة الكمبيوتر المحمولة Jupyter
    • Papermill: هي مكتبة Nteract مصممة لتصوير دفاتر Jupyter وتنفيذها وتحليلها .
    • مسافر: مشروع Nteract آخر يوفر عرضًا للقراءة فقط لأجهزة الكمبيوتر المحمولة (على سبيل المثال من دلاء S3).
  • SPERIPLIT: أداة علوم البيانات التفاعلية مع التطبيقات
• حساب التوصيات ¹ :
  • للأفراد أو الشركات الناشئة :
    • التطوير: جهاز كمبيوتر بنية بنية 4x
    • التدريب/التقييم: استخدم نفس جهاز GPU PC نفسه. عند إجراء العديد من التجارب ، إما شراء الخوادم المشتركة أو استخدام مثيلات سحابية.
  • للشركات الكبيرة:
    • التطوير: شراء كمبيوتر بونجي بنية 4x لكل عالم أو دعهم يستخدمون مثيلات V100
    • التدريب/التقييم: استخدم مثيلات سحابية مع توفير ومعالجة الفشل السليم
• مقدمي الخدمات السحابية:
  • GCP: خيار توصيل وحدات معالجة الرسومات بأي مثيل + لديه tpus
  • AWS:

2.2. إدارة الموارد

• تخصيص الموارد المجانية للبرامج
• خيارات إدارة الموارد:
  • جدولة وظيفة مجموعة المدرسة القديمة (مثل مدير عبء العمل Slurm)
  • Docker + Kubernetes
  • kubeflow
  • polyaxon (ميزات مدفوعة)

2.3. أطر DL

• ما لم يكن لديك سبب وجيه لعدم ذلك ، استخدم TensorFlow/Keras أو Pytorch. ¹
• يوضح الشكل التالي مقارنة بين الأطر المختلفة حول كيفية دخولهم إلى "التطوير" و "الإنتاج" .

2.4. إدارة التجربة

• تطوير وتدريب واستراتيجية التقييم:
  • ابدأ دائمًا بسيطة
    • تدريب نموذج صغير على دفعة صغيرة. فقط إذا كان يعمل ، قم بتوسيع نطاق البيانات والموديلات الأكبر ، وضبط الفائقة!
  • أدوات إدارة التجربة:
  • Tensorboard
    • يوفر التصور والأدوات اللازمة لتجربة ML
  • خسارة (مراقبة ML)
  • المذنب: يتيح لك تتبع التعليمات البرمجية والتجارب والنتائج في مشاريع ML
  • الأوزان والتحيزات: سجل وتصور كل تفاصيل بحثك بتعاون سهل
  • تتبع MLFLOW: بالنسبة لمعلمات التسجيل ، وإصدارات التعليمات البرمجية ، والمقاييس ، وملفات الإخراج وكذلك تصور النتائج.
    • تتبع التجربة التلقائية مع سطر واحد من التعليمات البرمجية في بيثون
    • جنبا إلى جنب المقارنة بين التجارب
    • ضبط المعلمة Hyper
    • يدعم الوظائف القائمة على Kubernetes

2.5. ضبط الفائقة

• النهج:

  • بحث الشبكة
  • بحث عشوائي
  • تحسين بايزي
  • Hyperband و Dostychronous Soffive Hillving خوارزمية (ASHA)
  • التدريب على السكان

• المنصات:

  • Raytune: Ray Tune هي مكتبة Python لضبط المقياس الزائد على أي نطاق (مع التركيز على التعلم العميق وتعلم التعزيز العميق). يدعم أي إطار عمل للتعلم الآلي ، بما في ذلك Pytorch و XgBoost و Mxnet و Keras.
  • Katib: نظام Kubernete الأصلي لضبط المتقلب والعمارة العصبية ، مستوحى من [Google Vizier] (https://static.googleusercontent.com/Media/Resear يدعم عدة أطر ML/DL (مثل TensorFlow و MXNet و Pytorch).
  • Hyperas: غلاف بسيط حول Hyperopt لـ Keras ، مع تدوين قالب بسيط لتحديد نطاقات المعلمة المفرطة لضبط.
  • SIGOPT: منصة التحسين القابلة للتطوير ، على مستوى المؤسسة
  • عمليات المسح من [الأوزان والتحيزات] (https://www.wandb.com/): لا يتم تحديد المعلمات بشكل صريح من قبل مطور. بدلاً من ذلك ، يتم تقريبها وتعلمها من خلال نموذج التعلم الآلي.
  • موالف Keras: موالف Hyperparameter لـ Keras ، خاصة لـ TF.Keras مع TensorFlow 2.0.

2.6. التدريب الموزع

• Data Parallemism: استخدمه عندما يكون وقت التكرار طويلًا جدًا (دعم TensorFlow و Pytorch)
  • راي توزع التدريب
• نموذج التوازي: عندما لا يتناسب النموذج على وحدة معالجة الرسومات الواحدة
• حلول أخرى:
  • هوروفود

3. استكشاف الأخطاء وإصلاحها [TBD]

4. الاختبار والنشر

4.1. الاختبار و CI/CD

يتطلب برنامج إنتاج التعلم الآلي مجموعة أكثر تنوعًا من أجنحة الاختبار من البرامج التقليدية:

• اختبار الوحدة والتكامل:
  • أنواع الاختبارات:
    • اختبارات نظام التدريب: اختبار خط أنابيب التدريب
    • اختبارات التحقق من الصحة: ​​اختبار نظام التنبؤ على مجموعة التحقق من الصحة
    • اختبارات الوظائف: اختبار نظام التنبؤ على بعض الأمثلة المهمة
• التكامل المستمر: إجراء اختبارات بعد كل تغيير رمز جديد تم دفعه إلى الريبو
• SaaS للتكامل المستمر:
  • ARGO: محرك سير العمل الأصلي Open Source Kubernetes لتنظيم الوظائف الموازية (تداعيات سير العمل والأحداث و CI و CD).
  • Circleci: الدعم الشامل للغة ، بيئات مخصصة ، تخصيص الموارد المرنة ، يستخدمها Instacart و Lyft و StackShare.
  • ترافيس سي
  • BuildKite: بنيات سريعة ومستقرة ، يعمل وكيل المصدر المفتوح على أي آلة وبنية تقريبًا ، وحرية استخدام أدواتك وخدماتك الخاصة
  • جنكينز: نظام بناء المدرسة القديمة

4.2. نشر الويب

• يتكون من نظام التنبؤ ونظام التقديم
  • نظام التنبؤ: معالجة بيانات الإدخال ، وجعل التنبؤات
  • نظام الخدمة (خادم الويب):
    • تخدم التنبؤ مع وضع الحجم في الاعتبار
    • استخدم REST API لخدمة طلبات HTTP للتنبؤ
    • يدعو نظام التنبؤ للرد
• خيارات التقديم:
  • 1. نشر على VMs ، مقياس عن طريق إضافة مثيلات
  • 2. تم نشرها كحاويات ، وحجم عن طريق التزامن
    • الحاويات
      • عامل ميناء
    • تزامن الحاوية:
      • Kubernetes (الأكثر شعبية الآن)
      • mesos
      • ماراثون
  • 3. نشر الرمز كـ "وظيفة بدون خادم"
  • 4. نشر عبر حل خدمة نموذج
• خدمة النموذج:
  • نشر الويب المتخصص لنماذج ML
  • طلب الدُفعات لاستنتاج وحدة معالجة الرسومات
  • الأطر:
    • تنسورفورو الخدمة
    • خادم نموذج MXNET
    • كليبر (بيركلي)
    • حلول SaaS
      • Seldon: نماذج الخدمة والمقياس المصممة في أي إطار على Kubernetes
      • الخوارزمية
• اتخاذ القرار: وحدة المعالجة المركزية أو وحدة معالجة الرسومات؟
  • استدلال وحدة المعالجة المركزية:
    • الاستدلال وحدة المعالجة المركزية هو الأفضل إذا كان يفي بالمتطلبات.
    • مقياس عن طريق إضافة المزيد من الخوادم ، أو الذهاب بدون خادم.
  • استدلال GPU:
    • خدمة TF أو Clipper
    • التكيف المفيد مفيد
• (مكافأة) نشر دفاتر Jupyter:
  • Kubeflow Fairing عبارة عن حزمة نشر هجينة تتيح لك نشر رموز دفاتر Notebook Jupyter الخاصة بك!

4.5 شبكة خدمة وتوجيه حركة المرور

• قد يكون الانتقال من التطبيقات المتجانسة نحو بنية الخدمات المجهرية الموزعة تحديًا.
• تقلل شبكة الخدمة (التي تتكون من شبكة من الخدمات المجهرية) من تعقيد هذه عمليات النشر ، وتخفيف الضغط على فرق التطوير.
  • ISTIO: شبكة خدمة لتخفيف إنشاء شبكة من الخدمات المنشورة مع موازنة التحميل ، ومصادقة الخدمة إلى الخدمة ، والمراقبة ، مع تغييرات قليلة أو معدومة في رمز الخدمة.

4.4. يراقب:

• الغرض من المراقبة:
  • تنبيهات للتوقف عن العمل والأخطاء وتحولات التوزيع
  • التقاط الخدمة والانحدارات البيانات
• حلول مقدمي الخدمات السحابية لائقة
• Kiali: وحدة التحكم في الملاحظة لـ ISTIO مع إمكانات تكوين شبكة الخدمة. يجيب على هذه الأسئلة: كيف يتم توصيل الخدمات المجهرية؟ كيف يؤدون؟

هل انتهينا؟

4.5. الانتشار على الأجهزة المدمجة والمتنقلة

• التحدي الرئيسي: بصمة الذاكرة وحساب القيود
• الحلول:
  • الكمية
  • انخفاض حجم النموذج
    • موبيلينيت
  • تقطير المعرفة
    • Distillbert (لـ NLP)
• الأطر المدمجة والجوال:
  • Tensorflow لايت
  • Pytorch Mobile
  • جوهر مل
  • طقم ML
  • فريتز
  • Openvino
• تحويل النموذج:
  • صرف الشبكة العصبية المفتوحة (ONNX): تنسيق مفتوح المصدر لنماذج التعلم العميق

4.6. الكل في واحد الحلول

• TensorFlow Extended (TFX)
• مايكل أنجلو (أوبر)
• منصة Google Cloud AI
• Amazon Sagemaker
• نبتون
• فلويد
• فضاء paperspace
• تحديد الذكاء الاصطناعي
• مختبر Domino Data

TensorFlow Extended (TFX)

[TBD]

تدفق الهواء و kubeflow ML خطوط أنابيب

[TBD]

روابط مفيدة أخرى:

• الدروس المستفادة من بناء أنظمة التعلم العميقة العملية
• التعلم الآلي: بطاقة الائتمان عالية الفائدة للديون الفنية

المساهمة

مراجع:

[1]: Bootcamp التعلم العميق الكامل ، نوفمبر 2019.

[2]: ورشة Kubeflow المتقدمة من قبل Pipeline.ai ، 2019.

[3]: TFX: التعلم الآلي في العالم الحقيقي في الإنتاج