pinferencia

Simple, mais puissant.

---

Doc anglais | 中文文档 | 中文 Readme

Aide recherchée. Traduction, paroles de rap, tous recherchés. N'hésitez pas à créer un problème.

---

Pinferencia essaie d'être le serveur d'inférence d'apprentissage machine le plus simple de tous les temps!

Trois lignes supplémentaires et votre modèle se met en ligne .

Servir un modèle avec GUI et API REST n'a jamais été aussi facile.

Si vous voulez

• Donnez à votre modèle une API GUI et REST
• Trouvez un moyen simple mais robuste de servir votre modèle
• Écrivez des codes minimaux tout en conservant des contrôles sur votre service
• Évitez toutes les solutions de poids lourd
• Compatible avec d'autres outils / plateformes

Vous êtes au bon endroit.

Caractéristiques

Les fonctionnalités de Pinferencia comprennent:

• Rapide à coder, rapide pour aller vivre . Codes minimaux nécessaires, transformation minimale nécessaire. Juste en fonction de ce que vous avez.
• Couverture de test à 100% : Énoncé et couvertures de branche, sans blague. Avez-vous déjà connu un outil de service de modèle si sérieusement testé?
• Facile à utiliser, facile à comprendre .
• Une jolie GUI et propre hors de la boîte.
• Page de documentation API automatique . Toutes les API ont expliqué en détail avec la fonction d'essai en ligne.
• Servir n'importe quel modèle , même une seule fonction peut être servie.
• API Soutenir Kserve , compatible avec Kubeflow, TF Serving, Triton et Torchserve. Il n'y a pas de douleur à passer ou à eux, et Pinferencia est beaucoup plus rapide pour le prototypage!

Installer

Recommander

pip install " pinferencia[streamlit] "

Backend uniquement

pip install " pinferencia " 

Démarrage rapide

Servir n'importe quel modèle

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Il suffit de courir:

 pinfer app:service

Hourra, votre service est vivant. Allez sur http://127.0.0.1:8501/ et amusez-vous.

Des modèles d'apprentissage en profondeur? Tout aussi facile. Train ou chargez votre modèle simple et enregistrez-le avec le service. Allez-y immédiatement.

Visage étreint

Détails: HuggingFace Pipeline - Vision

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

Tensorflow

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Tout modèle de n'importe quel cadre ne fonctionnera que de la même manière. Maintenant, exécutez uvicorn app:service --reload et profitez-en!

Contributif

Si vous souhaitez contribuer, les détails sont ici