pinferencia

بسيطة ، لكنها قوية.

---

المستند الإنجليزي | 中文文档 | 中文 readme

مطلوب مساعدة. ترجمة ، كلمات الراب ، كل شيء مطلوب. لا تتردد في إنشاء مشكلة.

---

يحاول Pinferencia أن يكون أبسط خادم استدلال للتعلم الآلي على الإطلاق!

ثلاثة خطوط إضافية ونموذجك متصل بالإنترنت .

لم يكن تقديم نموذج مع واجهة المستخدم الرسومية و API REST سهلة للغاية.

إذا كنت تريد ذلك

• امنح موديل واجهة المستخدم الرسومية و API REST
• ابحث عن طريقة بسيطة ولكنها قوية لخدمة النموذج الخاص بك
• اكتب الحد الأدنى من الرموز مع الحفاظ على الضوابط فوق الخدمة
• تجنب أي حلول ثقيلة الوزن
• متوافق مع الأدوات/المنصات الأخرى

أنت في المكان المناسب.

سمات

تتضمن ميزات Pinferencia :

• بسرعة إلى رمز ، بسرعة للذهاب على قيد الحياة . الحد الأدنى من الرموز اللازمة ، الحد الأدنى من التحول اللازم. فقط بناء على ما لديك.
• تغطية اختبار 100 ٪ : كل من التغطية بالبيان والفرع ، لا تمزح. هل سبق لك أن عرفت أي أداة خدمة نموذج تم اختبارها بجدية؟
• سهل الاستخدام وسهل الفهم .
• واجهة المستخدم الرسومية جميلة ونظيفة خارج الصندوق.
• صفحة توثيق API التلقائي . أوضحت جميع API بالتفاصيل مع ميزة التجريب عبر الإنترنت.
• خدمة أي نموذج ، حتى يمكن تقديم وظيفة واحدة.
• دعم kserve API ، متوافق مع kubeflow ، tf serving ، triton و torchserve. لا يوجد أي ألم يتحول إلى أو منها ، و Pinferencia أسرع بكثير للنماذج الأولية!

ثَبَّتَ

يوصي

pip install " pinferencia[streamlit] "

الخلفية فقط

pip install " pinferencia " 

بداية سريعة

خدمة أي نموذج

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

فقط الجري:

 pinfer app:service

الصيحة ، خدمتك على قيد الحياة. انتقل إلى http://127.0.0.1:8501/ واستمتع.

أي نماذج تعليمية عميقة؟ بنفس السهولة. قطار بسيط أو تحميل النموذج الخاص بك ، وقم بتسجيله مع الخدمة. اذهب على قيد الحياة على الفور.

الوجه المعانقة

التفاصيل: خط أنابيب Huggingface - الرؤية

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

Tensorflow

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

أي نموذج من أي إطار عمل سيعمل بنفس الطريقة. الآن قم بتشغيل uvicorn app:service --reload والتمتع!

المساهمة

إذا كنت ترغب في المساهمة ، فإن التفاصيل موجودة هنا