pinferencia

Simple, pero poderoso.

---

Doc inglés | 中文文档 | 中文 Readme

Se busca ayudante. Traducción, letra de rap, todo buscado. Siéntase libre de crear un problema.

---

¡Pinferencia intenta ser el servidor de inferencia de aprendizaje automático más simple!

Tres líneas adicionales y su modelo se conectan en línea .

Servir un modelo con GUI y API REST nunca ha sido tan fácil.

Si quieres

• Dale a tu modelo una GUI y una API REST
• Encuentra una forma simple pero robusta de servir a tu modelo
• Escriba códigos mínimos mientras mantenga controles sobre su servicio
• Evite las soluciones de peso pesado
• compatible con otras herramientas/plataformas

Estás en el lugar correcto.

Características

Las características de Pinferencia incluyen:

• Rápido para codificar, rápido para ir con vida . Se necesitan códigos mínimos, se necesita transformación mínima. Solo basado en lo que tienes.
• Cobertura de prueba del 100% : cobertura de la declaración y sucursal, sin broma. ¿Alguna vez ha conocido alguna herramienta de servicio de modelo tan seriamente probada?
• Fácil de usar, fácil de entender .
• Una guía bonita y limpia fuera de caja.
• Página automática de documentación de API . Toda la API explicada en detalles con la función de prueba en línea.
• Servir cualquier modelo , incluso se puede servir una sola función.
• Apoya la API de Kserve , compatible con Kubeflow, TF Serving, Triton y Torchserve. ¡No hay dolor que cambie hacia ellos o desde ellos, y Pinferencia es mucho más rápida para la creación de prototipos!

Instalar

Recomendar

pip install " pinferencia[streamlit] "

Solo backend

pip install " pinferencia " 

Comienzo rápido

Servir a cualquier modelo

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Solo corre:

 pinfer app:service

Hurra, su servicio está vivo. Vaya a http://127.0.0.1:8501/ y diviértete.

¿Algún modelo de aprendizaje profundo? Igual de fácil. Tren simple o cargue su modelo, y regístrelo con el servicio. Ve con vida inmediatamente.

Cara abrazada

Detalles: Huggingface Pipeline - Visión

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

Flujo tensor

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Cualquier modelo de cualquier marco funcionará de la misma manera. Ahora ejecute uvicorn app:service --reload y disfrute!

Que contribuye

Si desea contribuir, los detalles están aquí