الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

OpenVino ™ Model Server

يستضيف الخادم النموذج النماذج ويجعلها في متناول مكونات البرامج عبر بروتوكولات الشبكة القياسية: يرسل العميل طلبًا إلى خادم النموذج ، والذي يؤدي استنتاج النموذج ويرسل استجابة إلى العميل. يوفر خادم النموذج العديد من المزايا لنشر النموذج الفعال:

  • يتيح الاستدلال عن بُعد استخدام عملاء خفيف الوزن مع الوظائف اللازمة فقط لإجراء مكالمات API إلى عمليات النشر أو السحابة.
  • التطبيقات مستقلة عن إطار النموذج وجهاز الأجهزة والبنية التحتية.
  • يمكن استخدام تطبيقات العميل في أي لغة برمجة تدعم مكالمات REST أو GRPC لتشغيل الاستدلال عن بُعد على خادم النموذج.
  • يحتاج العملاء إلى عدد أقل من التحديثات لأن مكتبات العملاء نادرًا ما تتغير.
  • لا تتعرض طوبولوجيا النموذج والأوزان مباشرة لتطبيقات العميل ، مما يسهل التحكم في الوصول إلى النموذج.
  • الهندسة المعمارية المثالية للتطبيقات المستندة إلى الخدمات الصغيرة في البيئات السحابية-بما في ذلك مجموعات Kubernetes ومجموعات OpenShift.
  • استخدام الموارد الفعال مع تحجيم الاستدلال الأفقي والعمودي.

مخطط OVMS

OpenVino ™ Model Server (OVMS) هو نظام عالي الأداء لخدمة النماذج. يتم تنفيذه في C ++ من أجل قابلية التوسع والمحسّنة للنشر على بنيات Intel ، ويستخدم خادم النموذج نفس الهندسة المعمارية و API مثل خدمة TensorFlow و KServe أثناء تطبيق OpenVino لتنفيذ الاستدلال. يتم توفير خدمة الاستدلال عبر GRPC أو REST API ، مما يجعل نشر خوارزميات جديدة وتجارب منظمة العفو الدولية سهلة.

صورة OVMS

يجب تخزين النماذج المستخدمة من قبل الخادم محليًا أو استضافتها عن بُعد بواسطة خدمات تخزين الكائنات. لمزيد من التفاصيل ، راجع إعداد وثائق مستودع النموذج. يعمل خادم النموذج داخل حاويات Docker ، على المعدن العاري ، وفي بيئة Kubernetes. ابدأ باستخدام خادم OpenVino Model مع مثال التقديم السريع من دليل QuickStart أو استكشاف ميزات خادم النموذج.

اقرأ ملاحظات الإصدار لمعرفة ما هو جديد.

الميزات الرئيسية:

  • [جديد] نصي تضمينات متوافقة مع Openai API
  • [جديد] Reranking متوافق مع Cohere API
  • [جديد] توليد نص فعال عبر Openai API
  • تنفيذ رمز بيثون
  • GRPC تدفق
  • الرسوم البيانية MediPipe التي تخدم
  • إدارة النماذج - بما في ذلك إصدار النماذج وتحديثات النماذج في وقت التشغيل
  • مدخلات النموذج الديناميكي
  • جدولة الرسم البياني الموجه إلى جانب العقد المخصصة في خطوط أنابيب DAG
  • المقاييس - مقاييس متوافقة مع معيار بروميثيوس
  • دعم لأطر متعددة ، مثل TensorFlow و Paddlepaddle و Onnx
  • دعم تسارع الذكاء الاصطناعي

ملاحظة: تم اختبار OVMS على Redhat ، و Ubuntu. تستند أحدث صور Docker التي تم إصدارها بشكل عام على Ubuntu و UBI. يتم تخزينها في:

  • Dockerhub
  • كتالوج النظام الإيكولوجي Redhat

قم بتشغيل خادم نموذج Openvino

يمكن العثور على عرض توضيحي حول كيفية استخدام خادم OpenVino Model Server في دليل البدء السريع الخاص بنا لحالة استخدام الرؤية وتوليد نص LLM. لمزيد من المعلومات حول استخدام خادم النموذج في سيناريوهات مختلفة ، يمكنك التحقق من الأدلة التالية:

  • تكوين مستودع النموذج

  • خيارات النشر

  • ضبط الأداء

  • جدولة الرسم البياني الأعماق الموجه

  • تطوير العقد المخصصة

  • خدمة نماذج الدولة

  • نشر باستخدام مخطط Helm Kubernetes

  • النشر باستخدام مشغل Kubernetes

  • باستخدام بيانات الإدخال الثنائية

مراجع

  • Openvino ™

  • تنسورفورو الخدمة

  • GRPC

  • API راحة

  • نتائج القياس

  • عمليات الاستدلال للسرعة والسرعة عبر البنية المتعددة - تسجيل ندوة عبر الإنترنت

  • ما هو جديد في OpenVino Model Server C ++

  • تعمل Capital Health على تحسين رعاية السكتة الدماغية مع AI - مثال استخدام الحالة

اتصال

إذا كان لديك سؤال أو طلب ميزة أو تقرير الأخطاء ، فلا تتردد في تقديم مشكلة github.

* يمكن المطالبة بأسماء وعلامات تجارية أخرى كممتلكات للآخرين.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل