منصة التعلم الآلي المستمر مفتوح المصدر
قم ببناء خطوط أنابيب ML مع Python فقط ، أو تشغيل على الكمبيوتر المحمول ، أو في السحابة.
Sematic هي منصة تطوير ML مفتوحة المصدر. يتيح لمهندسي ML وعلماء البيانات أن يكتبوا خطوط أنابيب شاملة إلى طرف معقدة بشكل تعسفي مع بيثون بسيط وتنفيذها على أجهزتهم المحلية ، في مجموعة سحابة ، أو على مجموعة Kubernetes للاستفادة من الموارد السحابية.
يعتمد Sematic على التعلم الذي تم جمعه في أفضل شركات السيارات ذاتية القيادة. إنه يتيح مهام معالجة البيانات (مثل Apache Spark) مع تدريب النماذج (مثل Pytorch ، TensorFlow) ، أو أي منطق أعمال بيثون تعسفي آخر في خطوط أنابيب آمنة من النوع ، يمكن تتبعها ، قابلة للتكرار ، والتي يمكن مراقبتها وتصورها في لوحة دائرة على شبكة الإنترنت حديثة.
اقرأ وثائقنا وانضم إلى قناة Discord الخاصة بنا.
لماذا شبه
- Easy Onboarding - لا يوجد أي نشر أو بنية تحتية مطلوبة للبدء ، ما عليك سوى تثبيت Sematic محليًا والبدء في الاستكشاف.
- التكافؤ المحلي إلى السحابة -قم بتشغيل نفس الرمز على الكمبيوتر المحمول المحلي وعلى مجموعة Kubernetes الخاصة بك.
- التتبع من طرف إلى طرف -يتم استمرار جميع القطع الأثرية لخطوط الأنابيب وتتبعها وتصورها في لوحة معلومات الويب.
- الوصول إلى حساب غير متجانس - تخصيص الموارد المطلوبة لكل خطوة خط أنابيب لتحسين أدائك وتصمة البصمة السحابية (وحدات المعالجة المركزية ، الذاكرة ، وحدات معالجة الرسومات ، شرارة المجموعة ، إلخ)
- استنساخ - إعادة تشغيل خطوط الأنابيب الخاصة بك من واجهة المستخدم مع استنساخ مضمون للنتائج
ابدء
للبدء محليًا ، ما عليك سوى تثبيت Sematic في بيئة Python الخاصة بك:
بدء لوحة معلومات الويب المحلية:
قم بتشغيل خط أنابيب مثال:
$ sematic run examples/mnist/pytorch
قم بإنشاء مشروع جديد للمخيلات:
$ sematic new my_new_project
أو من مثال موجود:
$ sematic new my_new_project --from examples/mnist/pytorch
ثم قم بتشغيله مع:
$ python3 -m my_new_project
لنشر Sematic على Kubernetes والاستفادة من الموارد السحابية ، راجع وثائقنا.
سمات
- Python SDK خفيفة الوزن -تحديد خطوط أنابيب معقدة بشكل تعسفي معقدة بشكل تعسفي
- خط أنابيب تعشيش - تعسفي خطوط الأنابيب في خطوط أنابيب أكبر
- الرسوم البيانية الديناميكية -الرسوم البيانية المعرفة من بيثون تسمح بالتكرار ، المتفرعة الشرطية ، إلخ.
- تتبع النسب - تم استمرار جميع المدخلات والمخرجات من جميع الخطوات وتتبعها
- فحص نوع وقت التشغيل -الفشل في وقت مبكر مع فحص نوع وقت التشغيل
- لوحة معلومات الويب - مراقبة وتتبع وتصور خطوط الأنابيب في واجهة مستخدم الويب الحديثة
- تصور القطع الأثرية - تصور جميع المدخلات والمخرجات من جميع الخطوات في لوحة معلومات الويب
- التنفيذ المحلي - قم بتشغيل خطوط الأنابيب على جهازك المحلي دون أي نشر ضروري
- تزامن سحابي - قم بتشغيل خطوط الأنابيب على Kubernetes للوصول إلى وحدات معالجة الرسومات والموارد السحابية الأخرى
- موارد حساب غير متجانسة - قم بتشغيل خطوات مختلفة على أجهزة مختلفة (مثل CPU ، الذاكرة ، GPU ، Spark ، إلخ)
- نشر مخطط Helm - قم بتثبيت Sematic على مجموعة Kubernetes الخاصة بك
- إعادة تشغيل خطوط الأنابيب - إعادة تشغيل خطوط الأنابيب من واجهة المستخدم من نقطة تعسفية في الرسم البياني
- خطوة التخزين المؤقت - مخبأ خطوات خط أنابيب باهظة الثمن للتكرار بشكل أسرع
- إعادة المحاولة - استرداد من حالات الفشل العابرة مع إعادة محاكمة الخطوة
- البيانات الوصفية والتعاون - العلامات ، تصور رمز المصدر ، docstrings ، الملاحظات ، إلخ.
- العديد من التكامل - انظر أدناه
التكامل
- Apache Spark- كتلة شرارة في الطلب عند الطلب
- راي -راي راي في المجموعة الموارد
- Snowflake - الاستعلام بسهولة عن مستودع البيانات الخاص بك (مستودعات أخرى مدعومة أيضًا)
- Plotly ، Matplotlib - تصور القطع الأثرية المؤامرة في لوحة معلومات الويب
- Pandas - تصور القطع الأثرية في DataFrame في لوحة القيادة
- Grafana - تضمين ألواح Grafana في لوحة معلومات الويب
- Bazel - اندمج مع نظام بناء البازل الخاص بك
- مخطط هيلم - انتشر إلى Kubernetes مع مخطط Helm الخاص بنا
- GIT - تتبع معلومات git في لوحة معلومات الويب
المجتمع والموارد
تعرف على المزيد حول Sematic والتواصل مع الموارد التالية:
- صفحة مقصودة شبه
- الوثائق
- قناة Discord
- قناة يوتيوب
- مدونتنا
يساهم!
للمساهمة في Sematic ، تحقق من المشكلات المفتوحة الموسومة "العدد الأول الجيد" ، والتواصل معنا في Discord. يمكنك العثور على تعليمات حول كيفية إعداد بيئة التطوير الخاصة بك في مستندات المطور لدينا. إذا كنت ترغب في إضافة مثال ، فيمكنك أيضًا العثور على هذا الدليل مفيدًا.
