SynapseML
v1.0.8
SkapseMl (المعروفة سابقًا باسم MMLSPARK) ، هي مكتبة مفتوحة المصدر تقوم بتبسيط خطوط أنابيب التعلم الآلي القابل للتطوير بشكل كبير (ML). يوفر SkapseMl واجهات برمجة التطبيقات البسيطة والقابلة للتكوين والموزعة لمجموعة واسعة من مهام التعلم الآلي المختلفة مثل تحليلات النص ، والرؤية ، والكشف عن الشذوذ ، وغيرها الكثير. تم تصميم SkapseMl على إطار الحوسبة الموزعة لـ Apache Spark ويشارك نفس API مثل مكتبة Sparkml/MLLIB ، مما يتيح لك تضمين نماذج SonapseMl بسلاسة في تدفقات عمل Apache Spark الحالية.
مع SynapseMl ، يمكنك إنشاء أنظمة قابلة للتطوير وذكية لحل التحديات في المجالات مثل اكتشاف الشذوذ ورؤية الكمبيوتر والتعلم العميق وتحليلات النص وغيرها. يمكن لـ SkapseML تدريب وتقييم النماذج على مجموعات أحواض عقدة واحدة ، وعقدة متعددة ، ومجموعة من أجهزة الكمبيوتر. هذا يتيح لك توسيع نطاق عملك دون إهدار الموارد. SkapseMl قابلة للاستخدام عبر Python و R و Scala و Java و .net. علاوة على ذلك ، فإن ملخصات API الخاصة بها على متن مجموعة واسعة من قواعد البيانات وأنظمة الملفات ومخازن البيانات السحابية لتبسيط التجارب بغض النظر عن مكان وجود البيانات.
يتطلب SkapseMl Scala 2.12 و Spark 3.4+ و Python 3.8+.
| موضوعات | الروابط |
|---|---|
| يبني | |
| إصدار | |
| مستندات | |
| يدعم | |
| الموثق | |
| الاستخدام |
| wabbit vowpal على الشرارة | الخدمات المعرفية للبيانات الكبيرة | LightgBM على الشرارة | شرارة الخدمة |
| تحليلات نصية سريعة ومتناثرة وفعالة | استفد من الخدمات المعرفية Microsoft على موازين غير مسبوقة في خطوط أنابيب Sparkml الحالية | قطار التدرج المعزز الآلات مع LightgBM | تخدم أي حساب شرارة كخدمة ويب مع زمن انتقال فرعي millisecond |
| HTTP على الشرارة | onnx على الشرارة | مسؤول الذكاء الاصطناعي | شرارة التوليد الذاتي ملزمة |
| تكامل بين Spark وبروتوكول HTTP ، مما يتيح تزامن الخدمات المجهرية الموزعة | موزع وأجهزة تسارع الاستدلال النموذج على الشرارة | فهم نماذج الصناديق غير المعتادة وقياس تحيزات مجموعة البيانات | توليد روابط شرارة تلقائيًا ل pyspark و Sparklyr |
| غابة العزل على الشرارة | Cyberml | knn الشرطية |
| اكتشاف غير خطية غير خطية | أدوات التعلم الآلي للأمن السيبراني | نماذج KNN قابلة للتطوير مع استفسارات مشروطة |
بالنسبة إلى Quickstarts ، والتوثيق ، والعروض التوضيحية ، والأمثلة ، يرجى الاطلاع على موقعنا على الويب.
أولاً ، حدد النظام الأساسي الصحيح الذي تقوم بتثبيته synapseml إلى:
في Microsoft Fabric Notebooks تم تثبيته بالفعل. لتغيير الإصدار ، يرجى وضع ما يلي في الخلية الأولى من دفتر ملاحظاتك.
%%configure -f
{
" name " : " synapseml " ,
" conf " : {
" spark.jars.packages " : " com.microsoft.azure:synapseml_2.12:<THE_SYNAPSEML_VERSION_YOU_WANT> " ,
" spark.jars.repositories " : " https://mmlspark.azureedge.net/maven " ,
" spark.jars.excludes " : " org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind " ,
" spark.yarn.user.classpath.first " : " true " ,
" spark.sql.parquet.enableVectorizedReader " : " false "
}
}في دفاتر Azure Sinapse ، يرجى وضع ما يلي في الخلية الأولى من دفتر الملاحظات.
%%configure -f
{
" name " : " synapseml " ,
" conf " : {
" spark.jars.packages " : " com.microsoft.azure:synapseml_2.12:1.0.8 " ,
" spark.jars.repositories " : " https://mmlspark.azureedge.net/maven " ,
" spark.jars.excludes " : " org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind " ,
" spark.yarn.user.classpath.first " : " true " ,
" spark.sql.parquet.enableVectorizedReader " : " false "
}
}%%configure -f
{
" name " : " synapseml " ,
" conf " : {
" spark.jars.packages " : " com.microsoft.azure:synapseml_2.12:0.11.4-spark3.3 " ,
" spark.jars.repositories " : " https://mmlspark.azureedge.net/maven " ,
" spark.jars.excludes " : " org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind " ,
" spark.yarn.user.classpath.first " : " true " ,
" spark.sql.parquet.enableVectorizedReader " : " false "
}
}للتثبيت على مستوى التجمع بدلاً من مستوى دفتر الملاحظات ، أضف خصائص Spark المذكورة أعلاه لتكوين تجمع.
لتثبيت SonapsEml على Cloud Databricks ، قم بإنشاء مكتبة جديدة من إحداثيات Maven في مساحة العمل الخاصة بك.
لاستخدام الإحداثيات: com.microsoft.azure:synapseml_2.12:1.0.8 مع الحل: https://mmlspark.azureedge.net/maven . تأكد من إرفاق هذه المكتبة بمجموعة (مجموعات) المستهدفة.
أخيرًا ، تأكد من أن مجموعة Spark الخاصة بك لديها على الأقل تشرف 3.2 و Scala 2.12. إذا واجهت مشكلات التبعية الصافية ، فيرجى استخدام DBR 10.1.
يمكنك استخدام SlapsEml في كل من دفاتر Scala و Pyspark. للبدء في مثال دفاترنا ، استيراد أرشيف Databricks التالي:
https://mmlspark.blob.core.windows.net/dbcs/SynapseMLExamplesv1.0.8.dbc
لتجربة SINAPSEML على تثبيت Python (أو conda) ، يمكنك تثبيت Spark عبر PIP مع pip install pyspark . يمكنك بعد ذلك استخدام pyspark كما في المثال أعلاه ، أو من Python:
import pyspark
spark = pyspark . sql . SparkSession . builder . appName ( "MyApp" )
. config ( "spark.jars.packages" , "com.microsoft.azure:synapseml_2.12:1.0.8" )
. getOrCreate ()
import synapse . ml يمكن تثبيت SonapsEml بشكل مريح على مجموعات الشرارة الموجودة عبر خيار --packages ، أمثلة:
spark-shell --packages com.microsoft.azure:synapseml_2.12:1.0.8
pyspark --packages com.microsoft.azure:synapseml_2.12:1.0.8
spark-submit --packages com.microsoft.azure:synapseml_2.12:1.0.8 MyApp.jar إذا كنت تقوم ببناء تطبيق شرارة في Scala ، فأضف الأسطر التالية إلى build.sbt :
libraryDependencies + = " com.microsoft.azure " % " synapseml_2.12 " % " 1.0.8 "لتثبيت SonapseMl من داخل دفتر Jupyter الذي يقدمه Apache Livy ، يمكن استخدام Magic التكوين التالي. ستحتاج إلى بدء جلسة جديدة بعد تنفيذ هذه الخلية التكوين.
قد يكون من الضروري استبعاد بعض الحزم من المكتبة بسبب المشكلات الحالية مع Livy 0.5.
%%configure -f
{
" name " : " synapseml " ,
" conf " : {
" spark.jars.packages " : " com.microsoft.azure:synapseml_2.12:1.0.8 " ,
" spark.jars.excludes " : " org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind "
}
}أسهل طريقة لتقييم synapseml هي عبر حاوية Docker التي تم بناؤها مسبقًا. للقيام بذلك ، قم بتشغيل الأمر التالي:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes mcr.microsoft.com/mmlspark/release jupyter notebookانتقل إلى http: // localhost: 8888/في متصفح الويب الخاص بك لتشغيل أجهزة الكمبيوتر المحمولة. انظر الوثائق لمزيد من استخدام Docker.
لقراءة EULA لاستخدام صورة Docker ، تشغيل
docker run -it -p 8888:8888 mcr.microsoft.com/mmlspark/release eula
لتجربة SonapsEml باستخدام الأغلفة المزروعة التلقائية R انظر تعليماتنا. ملاحظة: لا تزال هذه الميزة قيد التطوير وقد تكون بعض الأغطية المخصصة اللازمة مفقودة.
انتقلت SkapseMl مؤخرًا إلى بنية تحتية جديدة للبناء. لمستندات المطورين التفصيلية ، يرجى الاطلاع على المطور readme
إذا كنت موجهًا موجودًا في التطوير ، فستحتاج إلى إعادة تكوين إعداد التطوير الخاص بك. نحن الآن ندعم التنمية المستقلة وندمج بشكل أفضل مع Intellij و SBT. إذا واجهت مشكلات ، يرجى التواصل مع بريدنا الإلكتروني للدعم!
الخدمات المجهرية الذكية واسعة النطاق
استرجاع الصورة الشرطية
MMLSPARK: توحيد النظم الإيكولوجية للتعلم الآلي على مقاييس ضخمة
التعلم العميق المرن والقابل للتطوير مع synapseml
إنشاء كتاب صوتي أوتوماتيكي واسع النطاق
قم بزيارة موقعنا على الويب.
شاهد عروضنا الرئيسية في SPARP+AI Summit 2019 ، و SPARK+AI European Summit 2018 ، و SPARK+AI Summit 2018 ، و SNAPSEML في قمة Spark.
تعرف على كيفية استخدام SkapseMl للمساعدة في الأنواع المهددة بالانقراض.
استكشاف عمل فني للكرات في تعاوننا مع Met و MIT.
استكشف تعاوننا مع Apache Spark على تحليل الصور.
اعتمد هذا المشروع رمز سلوك المصدر المفتوح Microsoft. لمزيد من المعلومات ، راجع مدونة الشهادة الأسئلة الشائعة أو الاتصال بـ [email protected] مع أي أسئلة أو تعليقات إضافية.
انظر المساهمة. MD للحصول على إرشادات المساهمة.
لتقديم ملاحظات و/أو الإبلاغ عن مشكلة ، افتح مشكلة github.
vowpal wabbit
LightgBM
DMTK: مجموعة أدوات التعلم الآلي الموزعة Microsoft
التوصي
المكوّن الإضافي JPMML-SparkML لتحويل نماذج LightGBM SynapseML إلى PMML
مجموعة الأدوات المعرفية Microsoft
تعد Apache® و Apache Spark و Spark® إما علامات تجارية مسجلة أو علامات تجارية لمؤسسة Apache Software Foundation في الولايات المتحدة و/أو دول أخرى.
