awesome mlops

MLOPs رهيبة

قائمة منسقة من أدوات MLOPs رهيبة.

مستوحاة من رهيبة بيثون.

• MLOPs رهيبة
  • السيارات
  • CI/CD للتعلم الآلي
  • مراقبة الوظائف كرون
  • كتالوج البيانات
  • إثراء البيانات
  • استكشاف البيانات
  • إدارة البيانات
  • معالجة البيانات
  • التحقق من صحة البيانات
  • تصور البيانات
  • اكتشاف الانجراف
  • ميزة الهندسة
  • ميزة متجر
  • ضبط الفائقة
  • تبادل المعرفة
  • منصة التعلم الآلي
  • النموذج النزاهة والخصوصية
  • قابلية التفسير النموذجية
  • دورة حياة النموذج
  • نموذج الخدمة
  • اختبار النموذج والتحقق من الصحة
  • أدوات التحسين
  • أدوات التبسيط
  • التحليل البصري وتصحيح الأخطاء
  • أدوات تدفق سير العمل
• موارد
  • مقالات
  • كتب
  • الأحداث
  • قوائم أخرى
  • البودكاست
  • الركود
  • مواقع الويب
• المساهمة

---

السيارات

أدوات لأداء السيارات.

• Autogluon-التعلم الآلي الآلي للصور والنص والجدولة والمواقع الزمنية والبيانات متعددة الوسائط.
• Autokeras - Audokeras هدف هو جعل التعلم الآلي متاحًا للجميع.
• AutopyTorch - البحث التلقائي للعمارة والتحسين المفرط في Pytorch.
• Autosklearn-مجموعة أدوات التعلم الآلي الآلي واستبدال إسقاط لمقدر Scikit-Learn.
• evalml - مكتبة تقوم بإنشاء خطوط أنابيب ML وتحسينها وتقييمها باستخدام وظائف خاصة بالمجال.
• Flaml - يجد نماذج ML دقيقة تلقائيًا وكفاءة واقتصادية.
• H2O Automl - أتمتة سير عمل ML ، والذي يتضمن التدريب التلقائي وضبط النماذج.
• Mindsdb - طبقة AI لقواعد البيانات التي تسمح لك بتطوير وتدريب ونشر نماذج ML دون عناء.
• MLBOX - MLBOX هي مكتبة Python الآلية الآلية القوية.
• البحث عن النماذج - إطار عمل يقوم بتنفيذ خوارزميات السيارات للبحث عن بنية النموذج على نطاق واسع.
• NNI - مجموعة أدوات السيارات مفتوحة المصدر لأتمتة دورة حياة التعلم الآلي.

CI/CD للتعلم الآلي

أدوات لأداء CI/CD للتعلم الآلي.

• ClearMl - CI/CD تلقائي لتبسيط سير عمل ML.
• CML - مكتبة مفتوحة المصدر لتنفيذ CI/CD في مشاريع التعلم الآلي.
• KITOPS - مشروع MLOPs مفتوح المصدر الذي يخفف من عمليات التسليم بين عالم البيانات و DevOps.

مراقبة الوظائف كرون

أدوات لمراقبة وظائف cron (وظائف متكررة).

• Cronitor - راقب أي وظيفة cron أو مهمة مجدولة.
• HealthChecksio - مراقبة الوظائف البسيطة والفعالة.

كتالوج البيانات

أدوات لفهرسة البيانات.

• Amundsen - محرك اكتشاف البيانات ومحرك البيانات الوصفية لتحسين الإنتاجية عند التفاعل مع البيانات.
• Apache Atlas - يوفر إمكانيات إدارة البيانات الوصفية المفتوحة لإنشاء كتالوج بيانات.
• CKAN - DMS مفتوحة المصدر (نظام إدارة البيانات) لتشغيل مراكز البيانات وبوابات البيانات.
• Datahub - أداة البحث والاكتشاف المعممة من LinkedIn.
• MAGDA - كتالوج بيانات متدرب ومفتوح المصدر لجميع بياناتك الضخمة والبيانات الصغيرة.
• Metacat - خدمة واجهة برمجة تطبيقات MetaData MetaData للبيانات الوصفية لـ Hive و RDS و Teradata و Redshift و S3 و Cassandra.
• OpenMetadata - مكان واحد لاكتشاف البيانات الخاصة بك والتعاون والحصول على بياناتك بشكل صحيح.

إثراء البيانات

الأدوات والمكتبات لإثراء البيانات.

• Snorkel - نظام لتوليد بيانات التدريب بسرعة مع ضعف الإشراف.
• Upgini - يثري مجموعات بيانات التدريب مع ميزات من مصادر البيانات المشتركة العامة والمجتمع.

استكشاف البيانات

أدوات لإجراء استكشاف البيانات.

• Apache Zeppelin - يتيح تحليلات البيانات المدفوعة بالبيانات والمستندات التعاونية.
• Bamboolib - واجهة المستخدم الرسومية البديهية لـ Pandas DataFrames.
• DataPrep - جمع وتنظيف وتصور بياناتك في Python.
• Google Colab - خدمة دفتر Jupyter المستضافة التي لا تتطلب أي إعداد لاستخدامها.
• Jupyter Notebook - بيئة دفتر على شبكة الإنترنت للحوسبة التفاعلية.
• JupyterLab - واجهة مستخدم الجيل التالي لـ Project Jupyter.
• JupyText - دفاتر Jupyter كوثائق Markdown أو Julia أو Python أو R Scripts.
• Pandas Perfiling - إنشاء تقارير التنميط HTML من كائنات Pandas DataFrame.
• Polynote - دفتر Polyglot مع دعم Scala من الدرجة الأولى.

إدارة البيانات

أدوات لإدارة البيانات.

• Arrikto - Dead Simple ، تخزين سريع للغاية لعالم Kubernetes الهجين.
• Blazingsql - محرك SQL خفيفة الوزن ، محرك SQL لـ Python. بنيت على المنحدرات cuDF.
• Delta Lake - طبقة التخزين التي تجلب المعاملات القابلة للتطوير الحمضية إلى Apache Spark وغيرها من المحركات.
• Dolt - قاعدة بيانات SQL التي يمكنك شوكة ، استنساخ ، فرع ، دمج ، دفع وسحب مثل مستودع GIT.
• DUD - أداة CLI خفيفة الوزن لبيانات الإصدار إلى جانب رمز المصدر وإنشاء خطوط أنابيب البيانات.
• DVC - إدارة وإصدار مجموعات البيانات ونماذج التعلم الآلي.
• GIT LFS - امتداد مفتوح المصدر GIT لإصدار الملفات الكبيرة.
• HUB - تنسيق مجموعة البيانات لإنشاء وتخزين والتعاون على مجموعات بيانات الذكاء الاصطناعى من أي حجم.
• المدخول - مجموعة خفيفة الوزن من أدوات تحميل ومشاركة البيانات في مشاريع علوم البيانات.
• Lakefs - بحيرة Data Data القابلة للتكرار والذرية والنسخة أعلى تخزين الكائن.
• Marquez - جمع وتجميع وتصور بيانات بيانات النظام الإيكولوجي للبيانات.
• Milvus - محرك بحث متشابه مفتوح المصدر ، مدعوم من Faiss و NMSLIB والمضايقات.
• Pinecone - البحث المدير المدار والموزع في المتجه المستخدم مع SDK خفيفة الوزن.
• QDRANT - محرك بحث متشابه مفتوح المصدر مع دعم الترشيح الممتد.
• لحاف - مركز بيانات تنظيم ذاتي مع دعم S3.

معالجة البيانات

الأدوات المتعلقة بمعالجة البيانات وخطوط أنابيب البيانات.

• Airflow - منصة للمؤلف برمجيا ، الجدول الزمني ، ومراقبة سير العمل.
• Azkaban - جدولة وظيفة سير عمل الدُفعات التي تم إنشاؤها في LinkedIn لتشغيل وظائف Hadoop.
• Dagster - أوركستور بيانات للتعلم الآلي ، والتحليلات ، و ETL.
• Hadoop - Framework الذي يسمح للمعالجة الموزعة لمجموعات البيانات الكبيرة عبر المجموعات.
• OpenRefine - أداة الطاقة للعمل مع البيانات الفوضوية وتحسينها.
• Spark - محرك تحليلات موحدة لمعالجة البيانات على نطاق واسع.

التحقق من صحة البيانات

الأدوات المتعلقة بالتحقق من صحة البيانات.

• CERBERUS - مكتبة التحقق من البيانات الخفيفة الوزن والقابلة للتمديد للبيثون.
• CleanLab-مكتبة Python ل AI المتمحورة حول البيانات والتعلم الآلي مع البيانات الفوضوية والواقعية وعلامات العالم.
• توقعات كبيرة - إطار التحقق من صحة بيانات Python يسمح باختبار بياناتك مقابل مجموعات البيانات.
• JSON SCHEMA - مفردات تسمح لك بتعليق وثائق JSON والتحقق من صحة.
• TFDV - مكتبة لاستكشاف بيانات التعلم الآلي والتحقق من صحتها.

تصور البيانات

أدوات لتصور البيانات والتقارير ولوحات المعلومات.

• COUNT-SQL/DRAG-and-DROP APPLISTEN AND TOURTER بناءً على أجهزة الكمبيوتر المحمولة.
• Dash - تطبيقات الويب التحليلية لـ Python و R و Julia و Jupyter.
• Data Studio - حل الإبلاغ لمستخدمي الطاقة الذين يرغبون في تجاوز البيانات ولوحات معلومات GA.
• الجوانب - تصورات لفهم وتحليل مجموعات بيانات التعلم الآلي.
• Grafana - التحليلات المفتوحة المصدر متعددة المنصات وتطبيق ويب التصور التفاعلي.
• لوكس - استكشاف البيانات السريع والسهل عن طريق أتمتة عملية التصور وتحليل البيانات.
• Metabase - أبسط وأسرع طريقة للحصول على ذكاء الأعمال والتحليلات للجميع.
• Redash - اتصل بأي مصدر بيانات ، والتصور بسهولة ولوحة القيادة ومشاركة البيانات الخاصة بك.
• Solidui - منصة النماذج الأولية للتصور والتحرير التي تم إنشاؤها من الذكاء الاصطناعى ، ودعم النماذج ثنائية الأبعاد و 3D.
• SuperSet - تطبيق ويب للذكاء التجريبي الحديثة ، الجاهزة للمؤسسات.
• Tableau - أداة تصور بيانات قوية وأسرع نموًا تستخدم في صناعة ذكاء الأعمال.

اكتشاف الانجراف

الأدوات والمكتبات المتعلقة بالكشف عن الانجراف.

• Detect alibi - مكتبة Python مفتوحة المصدر تركز على الكشف الخارجي والخصم والانجراف.
• فروروس - مكتبة بيثون مفتوحة المصدر للكشف عن الانجراف في أنظمة التعلم الآلي.
• TorchDrift - مكتبة DATA و COUNCTION DRIFT لـ Pytorch.

ميزة الهندسة

الأدوات والمكتبات المتعلقة بالهندسة الميزة.

• ميزة المحرك - حزمة هندسة الميزات مع Sklearn مثل الوظائف.
• MeatureTools - مكتبة Python لهندسة الميزات الآلية.
• TSFRESH - مكتبة Python للاستخراج التلقائي للميزات ذات الصلة من السلسلة الزمنية.

ميزة متجر

ميزة أدوات متجر لخدمة البيانات.

• Butterfree - أداة لبناء متاجر الميزات. تحويل بياناتك الخام إلى ميزات جميلة.
• Bytehub-متجر ميزات سهل الاستخدام. الأمثل لبيانات السلسلة الزمنية.
• Feast-متجر ميزات المصدر المفتوح من طرف إلى طرف للتعلم الآلي.
• Feathr - متجر ميزات من فئة المؤسسة وعالية الأداء.
• الميزة - متجر ميزة افتراضية. حول البنية التحتية الحالية للبيانات إلى متجر ميزات.
• Tecton - منصة ميزة تتم إدارتها بالكامل تم تصميمها لتنظيم دورة الحياة الكاملة للميزات.

ضبط الفائقة

الأدوات والمكتبات لأداء ضبط الفائق.

• مستشار - تنفيذ مفتوح المصدر لـ Google Vizier لضبط المعلمات المفرطة.
• Hyperas - غلاف بسيط للغاية لتحسين الفائقة المريحة.
• HyperoPt - التحسين غير المتزامن غير المتزامن في Python.
• Katib - نظام قائم على Kubernetes لضبط التقلبات الفائقة والبحث عن الهندسة المعمارية العصبية.
• Kerastuner-إطار عمل سهل الاستخدام وقابل للتطوير.
• Optuna - إطار عمل OpenParameter Open Open Source لأتمتة Autometer Hyperparameter.
• Scikit Optimize - مكتبة بسيطة وفعالة لتقليل وظائف الصندوق الأسود باهظ الثمن وصاخب.
• TALOS - التحسين Hyperparameter لـ Tensorflow و Keras و Pytorch.
• Tune - Python Library لتنفيذ التجربة وضبط الفائقة على أي مقياس.

تبادل المعرفة

أدوات لمشاركة المعرفة للفريق/الشركة بأكمله.

• المعرفة ريبو - منصة مشاركة المعرفة لعلماء البيانات وغيرها من المهن الفنية.
• KYSO - مكان واحد لرؤى البيانات حتى يتمكن فريقك بالكامل من التعلم من بياناتك.

منصة التعلم الآلي

أكمل حلول منصة التعلم الآلي.

• AIWARE - تساعد AIWARE فرق MLOPS على تقييم نماذج ML ونشرها ودمجها وتوسيع نطاقها.
• الخوارزمية - تحكم بشكل آمن عمليات التعلم الآلي مع دورة حياة ML صحية.
• Allegro AI - تحويل أبحاث ML/DL إلى منتجات. أسرع.
• Bodywork - تنشر مشاريع التعلم الآلي تم تطويرها في بيثون ، إلى Kubernetes.
• CNVRG-منصة التعلم الآلي من طرف إلى طرف لبناء ونشر نماذج الذكاء الاصطناعي على نطاق واسع.
• Dagshub - منصة مبنية على أدوات مفتوحة المصدر للبيانات والنموذج وخطوط الأنابيب.
• DataiKu - منصة تضعف الوصول إلى البيانات وتمكين المؤسسات من بناء طريقها الخاص إلى الذكاء الاصطناعي.
• DATAROBOT-منصة الذكاء الاصطناعى التي تضع ديمقراطيا لعلوم البيانات وأتمتة ML من طرف إلى طرف على نطاق واسع.
• Domino - مكان واحد لأدوات علوم البيانات الخاصة بك ، وتطبيقات ، والنتائج ، والنماذج ، والمعرفة.
• Impulse Edge - منصة لإنشاء خوارزميات AI/ML لتحسينها ونشرها.
• ENVD - بيئة تطوير التعلم الآلي لعلوم البيانات وفرق هندسة AI/ML.
• FedML - يبسط سير عمل التعلم الفيدرالي في أي مكان على أي نطاق.
• التدرج - منصة CI/CD و MLOPs متعددة الأدوات لفرق التعلم الآلي.
• H2O - زعيم المصدر المفتوح في الذكاء الاصطناعي مع مهمة لإضفاء الطابع الديمقراطي على الذكاء الديمقراطي للجميع.
• Hopsworks - منصة مفتوحة المصدر لتطوير وتشغيل نماذج التعلم الآلي على نطاق واسع.
• Iguazio-منصة علوم البيانات التي تتم أتمتة MLOPs مع خطوط أنابيب التعلم الآلي من طرف إلى طرف.
• Katonic - أتمتة دورة الذكاء مع منصة Katonic MLOPS.
• Knime - إنشاء وإنتاج علم البيانات باستخدام بيئة سهلة وبديهية.
• Kubeflow - إجراء عمليات نشر لسير عمل ML على Kubernetes بسيطة ومحمولة وقابلة للتطوير.
• Lynxkite - منصة علم بيانات الرسم البياني الكامل للرسوم البيانية الكبيرة جدًا ومجموعات البيانات الأخرى.
• ML Workspace-IDE على شبكة الإنترنت الكل في واحد متخصص للتعلم الآلي وعلوم البيانات.
• MLREEF - منصة MLOPs مفتوحة المصدر التي تساعدك على التعاون وإعادة إنتاج ومشاركة عمل ML الخاص بك.
• Modzy - نشر نماذج التعلم الآلي (ML) النشر وتوصيله وتشغيله ومراقبته في المؤسسة وعلى الحافة.
• Neu.Ro-MLOPS Platform التي تدمج الأدوات المفتوحة والملكية في أنظمة موجهة نحو العميل.
• Omnimizer - تبسيط ويسرع MLOPs عن طريق سد الفجوة بين نماذج ML والأجهزة الحافة.
• Pachyderm-يجمع بين نسب البيانات وخطوط الأنابيب الشاملة على Kubernetes ، المصممة للمؤسسة.
• Polyaxon - منصة للتعلم الآلي القابل للتكرار والقابل للتطوير والتعلم العميق على kubernetes.
• Sagemaker - خدمة مُدارة بالكامل توفر القدرة على بناء نماذج ML وتدريبها ونشرها بسرعة.
• SAS VIYA - Cloud Native AI ، منصة تحليلية وإدارة البيانات التي تدعم دورة حياة التحليلات.
• Sematic-أداة أنابيب مفتوحة المصدر من طرف إلى طرف للانتقال من النموذج الأولي للكمبيوتر المحمول إلى السحابة في أي وقت من الأوقات.
• SIGOPT - منصة تجعل من السهل تتبع التشغيل ، وتصور التدريب ، وضبط ضبط مقياس الفائقة.
• TrueFoundry - منصة MLOPs السحابية على Kubernetes لتبسيط التدريب وخدمة نماذج ML.
• Valohai - يأخذك من POC إلى الإنتاج أثناء إدارة دورة حياة النموذج بأكملها.

النموذج النزاهة والخصوصية

أدوات لأداء النزاهة النموذجية والخصوصية في الإنتاج.

• AIF360 - مجموعة شاملة من مقاييس الإنصاف لمجموعات البيانات ونماذج التعلم الآلي.
• Fairlearn - حزمة بيثون لتقييم وتحسين نماذج نماذج التعلم الآلي.
• Opacus - مكتبة تتيح تدريب نماذج Pytorch مع خصوصية التفاضلية.
• خصوصية TensorFlow - مكتبة لتدريب نماذج التعلم الآلي مع الخصوصية لبيانات التدريب.

قابلية التفسير النموذجية

أدوات لإجراء تفسير النموذج/قابلية التوضيح.

• Alibi - مكتبة Python مفتوحة المصدر تمكين التفسير وتفسير نموذج ML.
• Captum - Model Truplelablabling and Exhning Library for Pytorch.
• ELI5 - حزمة Python التي تساعد على تصحيح مصنفات تعلم الآلة وشرح تنبؤاتها.
• تفسير MortML - مجموعة أدوات للمساعدة في فهم النماذج وتمكين التعلم الآلي المسؤول.
• الجير - شرح تنبؤات أي مصنف التعلم الآلي.
• Lucid - مجموعة من البنية التحتية وأدوات البحث في قابلية تفسير الشبكة العصبية.
• SAGE - لحساب أهمية الميزة العالمية باستخدام قيم Shapley.
• Shap - نهج نظري للعبة لشرح إخراج أي نموذج التعلم الآلي.

دورة حياة النموذج

أدوات لإدارة دورة حياة النموذج (تتبع التجارب والمعلمات والمقاييس).

• Aeromancy - إطار لأداء الذكاء الاصطناعي القابل للتكرار و ML للأوزان والتحيزات.
• AIM - طريقة فائقة السهولة لتسجيل وبحث ومقارنة 1000s من تدريب ML.
• Cascade - مكتبة أدوات الهندسة ML للنماذج الأولية السريعة وإدارة التجربة.
• المذنب - تتبع مجموعات البيانات الخاصة بك ، وتغييرات التعليمات البرمجية ، وسجل التجريب ، والنماذج.
• Guild AI - تتبع التجربة مفتوح المصدر ، أتمتة خطوط الأنابيب ، وضبط الفائق.
• تذكار - التحكم في الإصدار للتعلم الآلي بدعم من Amazon S3 و Google Cloud Storage.
• Losswise - يجعل من السهل تتبع تقدم مشروع التعلم الآلي.
• MLFLOW - منصة مفتوحة المصدر لدورة حياة التعلم الآلي.
• ModelDB - إصدار نموذج ML Open Source ، بيانات التعريف ، وإدارة التجربة.
• Neptune AI - أداة إدارة التجربة الأكثر خفيفة الوزن التي تناسب أي سير عمل.
• Sacred - أداة لمساعدتك في تكوين التجارب وتنظيمها وتسجيلها وإعادة إنتاجها.
• الأوزان والتحيزات - أداة لتصور وتتبع تجارب التعلم الآلي.

نموذج الخدمة

أدوات لخدمة النماذج في الإنتاج.

• BANANA - استضيف رمز الاستدلال ML الخاص بك على وحدات معالجة الرسومات بدون خادم ودمجه في تطبيقك مع سطر واحد من التعليمات البرمجية.
• BEAM - تطوير على وحدات معالجة الرسومات بدون خادم ، ونشر واجهات برمجة التطبيقات ذات الأداء العالي ، ونماذج ML النموذجية بسرعة.
• Bentoml-منصة مفتوحة المصدر لنموذج ML عالي الأداء.
• BudgetML - نشر خدمة الاستدلال ML على ميزانية في أقل من 10 أسطر من التعليمات البرمجية.
• COG-أداة مفتوحة المصدر تتيح لك حزم نماذج ML في حاوية قياسية جاهزة للإنتاج.
• القشرة - نموذج التعلم الآلي يخدم البنية التحتية.
• GeniusRise - APIs الاستدلال المضيف ، الاستدلال بالجملة ونص اللحن الرفيع والرؤية والنماذج الصوتية والمتعددة الوسائط.
• Gradio - إنشاء مكونات واجهة المستخدم القابلة للتخصيص حول النماذج الخاصة بك.
• GraphPipe - تم نشر نموذج التعلم الآلي بسيط.
• Hydrosphere - منصة لنشر التعلم الآلي الخاص بك للإنتاج.
• KFServing - Kubernetes تعريف المورد المخصص لخدمة نماذج ML على الأطر التعسفية.
• Localai - API Rest Rest API المتوافق مع مواصفات API Openai للاستدلال.
• Merlin - منصة لنشر وخدمة نماذج التعلم الآلي.
• MLEM - الإصدار ونشر نماذج ML الخاصة بك بعد مبادئ GITOPS.
• Opyrator - يحول رمز ML الخاص بك إلى خدمات microservices مع واجهة برمجة تطبيقات الويب ، واجهة المستخدم الرسومية التفاعلية ، وأكثر من ذلك.
• التنبؤ - جمع الأحداث ، نشر الخوارزميات ، التقييم ، الاستعلام عن النتائج التنبؤية عبر واجهات برمجة التطبيقات.
• Quix - منصة الخادم لمعالجة تدفقات البيانات في الوقت الفعلي مع نماذج التعلم الآلي.
• Rune - يوفر حاويات لتغليف ونشر خطوط أنابيب EDGEML والتطبيقات.
• Seldon - خذ مشاريع ML الخاصة بك من POC إلى الإنتاج بأقصى قدر من الكفاءة والحد الأدنى من المخاطر.
• StreamLit - يتيح لك إنشاء تطبيقات لمشاريع ML الخاصة بك مع البرامج النصية Python البسيطة بشكل مخادع.
• خدمة TensorFlow - نظام خدمة مرن وعالي الأداء لنماذج ML ، المصممة للإنتاج.
• Torchserve - أداة مرنة وسهلة الاستخدام لخدمة نماذج Pytorch.
• يوفر Triton Interference Server - حلًا محسّنًا للاستدلال على السحابة والحافة.
• VESPA - تخزين ، والبحث ، وتنظيم واستنتاجات تعلم الآلة على البيانات الضخمة في وقت التقديم.
• Wallaroo.ai - منصة لنشر نماذج ML وتقديمها وتحسينها في كل من بيئات السحابة والحافة.

اختبار النموذج والتحقق من الصحة

أدوات للاختبار والتحقق من النماذج.

• DeepChecks - حزمة مفتوحة المصدر للتحقق من صحة نماذج ML والبيانات ، مع مختلف الشيكات والأجنحة.
• StarWhale - منصة MLOPS/LLMOPS لبناء النماذج والتقييم والضبط.
• Trubrics - التحقق من صحة التعلم الآلي مع علوم البيانات وردود فعل الخبراء المجال.

أدوات التحسين

أدوات التحسين المتعلقة بقابلية التوسع النموذجية في الإنتاج.

• Accelerate-طريقة بسيطة لتدريب واستخدام نماذج Pytorch مع GPU متعددة ، TPU ، الدقة المختلطة.
• Dask - يوفر التوازي المتقدم للتحليلات ، وتمكين الأداء على نطاق واسع للأدوات التي تحبها.
• DeepEded - مكتبة تحسين التعلم العميق التي تجعل التدريب الموزع سهلاً وفعالًا وفعالًا.
• الألياف - مكتبة الحوسبة الموزعة Python لمجموعات الكمبيوتر الحديثة.
• Horovod - إطار تدريب على التعلم العميق الموزعة لـ TensorFlow و Keras و Pytorch و Apache Mxnet.
• Mahout - إطار الجبر الخطي الموزعة و Scala DSL التعبير الرياضي.
• MLLIB - مكتبة التعلم الآلي القابلة للتطوير من Apache Spark.
• Modin - قم بتسريع مهام سير عمل Pandas عن طريق تغيير سطر واحد من التعليمات البرمجية.
• Nebullvm-مكتبة سهلة الاستخدام لتعزيز الاستدلال الذكاء الاصطناعي.
• NOS - وحدة مفتوحة المصدر لتشغيل أعباء عمل منظمة العفو الدولية على kubernetes بطريقة محسنة.
• Petastorm - يتيح الجهاز الفردي أو التدريب الموزعة وتقييم نماذج التعلم العميق.
• Rapids-يعطي القدرة على تنفيذ خطوط أنابيب وعلم البيانات الشاملة والتحليلات بالكامل على وحدات معالجة الرسومات.
• راي - إطار سريع وبسيط لبناء وتشغيل التطبيقات الموزعة.
• Singa - مشروع Apache Top Level ، مع التركيز على التدريب الموزع لنماذج DL و ML.
• TPOT - أداة ML الآلية التي تعمل على تحسين خطوط أنابيب التعلم الآلي باستخدام البرمجة الجينية.

أدوات التبسيط

الأدوات المتعلقة بتبسيط التعلم الآلي والتوحيد.

• الهيكل - يحول النماذج إلى حاويات ملائمة ML التي تعمل في أي مكان تقريبًا.
• Hermione - مساعدة علماء البيانات على إعداد المزيد من الرموز المنظمة ، بطريقة أسرع وأبسط.
• Hydra - إطار لتكوين التطبيقات المعقدة بأناقة.
• Koalas - Pandas API على Apache Spark. يجعل علماء البيانات أكثر إنتاجية عند التفاعل مع البيانات الضخمة.
• Ludwig - يتيح للمستخدمين تدريب واختبار نماذج التعلم العميق دون الحاجة إلى كتابة التعليمات البرمجية.
• MlNotify - لا حاجة لمواصلة التحقق من التدريب الخاص بك ، فقط خط استيراد واحد وستعرف أن الثاني يتم.
• Pycaret - مكتبة مفتوحة المصدر ، مكتبة التعلم الآلي منخفض الرمز في بيثون.
• Sagify - أداة CLI لتدريب ونشر نماذج ML/DL على AWS Sagemaker.
• Soopervisor - تصدير مشاريع ML إلى Kubernetes (سير عمل ARGO) ، تدفق الهواء ، دفعة AWS ، و slurm.
• SOORGEON - تحويل دفاتر JUPYTER متجانسة إلى خطوط أنابيب قابلة للصيانة.
• TraingEnerator - تطبيق ويب لإنشاء رمز قالب للتعلم الآلي.
• Turi Create - يبسط تطوير نماذج التعلم الآلي المخصص.

التحليل البصري وتصحيح الأخطاء

أدوات لإجراء التحليل المرئي وتصحيح نماذج ML/DL.

• Aporia - قابلية الملاحظة مع مراقبة مخصصة وقابلية للشرح لنماذج ML.
• ARIZE-منصة مراقبة ML من طرف إلى طرف حرة ومراقبة النماذج.
• من الواضح - تقارير تفاعلية لتحليل نماذج ML أثناء التحقق من الصحة أو مراقبة الإنتاج.
• Fiddler - مراقبة وشرح وتحليل الذكاء الاصطناعي في الإنتاج.
• Snowold - أداة تصحيح التصحيح البصري النموذجي للتعلم الآلي.
• Nannyml - خوارزمية قادرة على التقاط كامل تأثير انجراف البيانات على الأداء.
• Netron - مرئيات الشبكة العصبية ، والتعلم العميق ، ونماذج التعلم الآلي.
• OPIK - تقييم واختبار وشحن تطبيقات LLM مع مجموعة من أدوات الملاحظة.
• PHOENIX - MLOPS في دفتر ملاحظات لاستكشاف الأخطاء وإصلاحها LLM ، السيرة الذاتية ، والموديلات الجدولية.
• RADICALBIT - الحل مفتوح المصدر لمراقبة نماذج الذكاء الاصطناعى في الإنتاج.
• Superwise-إمكانية الملاحظة على مستوى المؤسسة الآلي بالكامل في منصة SAAS للخدمة الذاتية.
• Whylogs - المعيار المفتوح المصدر لتسجيل البيانات. يتيح مراقبة ML والملاحظة.
• Yellowbrick - التحليل البصري والأدوات التشخيصية لتسهيل اختيار نموذج التعلم الآلي.

أدوات تدفق سير العمل

الأدوات والأطر لإنشاء مهام سير العمل أو خطوط الأنابيب في سياق التعلم الآلي.

• ARGO - محرك سير العمل المصدر Open Sounder -Container لتنظيم الوظائف الموازية على Kubernetes.
• أتمتة الاستوديو - بناء ونشر سير العمل التي تعمل بالطاقة AI.
• Couler - واجهة موحدة لبناء وإدارة سير العمل على محركات سير العمل المختلفة.
• DSTACK - أداة مفتوحة لأتمتة البيانات وتدريب سير العمل.
• Flyte - من السهل إنشاء سير عمل متزامن وقابل للتطوير ويمكن صيانته للتعلم الآلي.
• هاميلتون - غرض عام قابل للتطوير للأغراض الدقيقة لتحديد تدفقات البيانات.
• Kale - يهدف إلى تبسيط تجربة علوم البيانات لنشر مهام سير عمل أنابيب kubeflow.
• KEDRO - المكتبة التي تنفذ هندسة البرمجيات أفضل الممارسات للبيانات وخطوط أنابيب ML.
• LUIGI - وحدة بيثون التي تساعدك على بناء خطوط أنابيب معقدة من وظائف الدُفعات.
• METAFLOW - LIB الصديق للإنسان يساعد العلماء والمهندسين على بناء وإدارة مشاريع علوم البيانات.
• MLRUN - آلية عامة لعلماء البيانات لإنشاء وتشغيل ومراقبة مهام ML وخطوط الأنابيب.
• أوركست - محرر خطوط الأنابيب المرئية وأوركسترا سير العمل مع واجهة مستخدم سهلة الاستخدام واستنادا إلى kubernetes.
• Ploomber - كتابة خطوط أنابيب جاهزة للإنتاج. تطوير محليًا ، انتشر على السحابة.
• المحافظ - نظام إدارة سير العمل ، مصمم للبنية التحتية الحديثة.
• VDP - أداة مفتوحة المصدر لدمج الذكاء الاصطناعي بسلاسة للبيانات غير المهيكلة في مكدس البيانات الحديثة.
• Wordware-IDE IDE المستضافة على شبكة الإنترنت حيث يمكن لخبراء المجال غير التقنية بناء وكلاء الذكاء الاصطناعى الخاص بالمهمة.
• ZENML - إطار MLOPS مفتوح المصدر القابل للتمديد لإنشاء خطوط أنابيب قابلة للتكرار.

---

موارد

أين لاكتشاف أدوات جديدة ومناقشة حول الأغاني الموجودة.

مقالات

• جولة في منصات التعلم الآلي من طرف إلى طرف (خط البيانات)
• توصيل مستمر للتعلم الآلي (مارتن فاولر)
• تقديم رؤية MLOPS: نهج قائم على النضج (Gigaom)
• عمليات التعلم الآلي (MLOPS): نظرة عامة ، التعريف ، والهندسة المعمارية (ARXIV)
• خريطة الطريق MLOPS: دليل مهني MLOPS الكامل (مدونات Scaler)
• MLOPS: خطوط أنابيب التسليم والأتمتة المستمرة في التعلم الآلي (Google)
• MLOPS: التعلم الآلي باعتباره تخصص هندسي (متوسط)
• قواعد التعلم الآلي: أفضل الممارسات لـ ML Engineering (Google)
• درجة اختبار ML: نموذج للاستعداد للإنتاج ML وخفض الديون التقنية (Google)
• ما هو MLOPS؟ (نفيديا)

كتب

• بداية MLOPS مع MLFLOW (apress)
• بناء أنابيب التعلم الآلي (O'Reilly)
• بناء التطبيقات التي تعمل بالطاقة التعلم الآلي (O'Reilly)
• التعلم العميق في الإنتاج (صيف الذكاء الاصطناعي)
• تصميم أنظمة التعلم الآلي (O'Reilly)
• MLOPs الهندسية (Packt)
• تنفيذ MLOPS في المؤسسة (O'Reilly)
• تقديم MLOPS (O'Reilly)
• Kubeflow للتعلم الآلي (O'Reilly)
• دليل عمليات Kubeflow (O'Reilly)
• أنماط تصميم التعلم الآلي (O'Reilly)
• هندسة التعلم الآلي في العمل (مانينغ)
• ML Ops: تشغيل علوم البيانات (O'Reilly)
• MLOPS Engineering on Scale (Manning)
• مجموعة أدوات دورة حياة MLOPS (Apress)
• التعلم العميق العملي على نطاق واسع مع MLFLOW (Packt)
• MLOPs العملية (O'Reilly)
• التعلم العميق المطبق الجاهز للإنتاج (Packt)
• التعلم الآلي الموثوق (أورايلي)
• دليل مهندس حلول التعلم الآلي (Packt)

الأحداث

• تطبيق () - مؤتمر هندسة بيانات ML
• مؤتمر MLOPS - المفاتيح واللوحات
• MLOPS World: مؤتمر التعلم الآلي في الإنتاج
• Normconf - مؤتمر Normcore للتكنولوجيا
• سلسلة ندوة ستانفورد MLSYS

قوائم أخرى

• تطبيق مل
• أوراق السيارات رهيبة
• سيارة رهيبة
• علم بيانات رائع
• بيانات رهيبة
• تعلم عميق رائع
• مجموعات بيانات ألعاب رائعة (تتضمن محتوى الذكاء الاصطناعي)
• تعلم آلي رائع
• MLOPs رهيبة
• التعلم الآلي إنتاج رائع
• رهيبة بيثون
• التعلم العميق في الإنتاج

البودكاست

• كيف بنى الذكاء الاصطناعي هذا
• بودكاست Kubernetes من Google
• التعلم الآلي - هندسة البرمجيات يوميًا
• mlops.smonity
• محادثة خط الأنابيب
• الذكاء الاصطناعي العملي: التعلم الآلي ، علم البيانات
• هذا الأسبوع في التعلم الآلي و AI
• محادثات ML الحقيقية

الركود

• مساحة عمل Kubeflow
• MLOPS Community Wokspace

مواقع الويب

• متاجر الميزات لـ ML
• صنعت مع مل
• مل
• مجتمع MLOPS
• دليل MLOPS
• MLOPS الآن

المساهمة

جميع المساهمات موضع ترحيب! يرجى إلقاء نظرة على إرشادات المساهمة أولاً.