pinferencia

Sederhana, tapi kuat.

---

Dokter Bahasa Inggris | 中文文档 | 中文 Readme

Bantuan yang diinginkan. Terjemahan, lirik rap, semua diinginkan. Jangan ragu untuk membuat masalah.

---

Pinferencia mencoba menjadi server inferensi pembelajaran mesin paling sederhana yang pernah ada!

Tiga baris tambahan dan model Anda online .

Melayani model dengan GUI dan REST API tidak pernah semudah ini.

Jika Anda mau

• Berikan model Anda GUI dan REST API
• Temukan cara sederhana namun kuat untuk melayani model Anda
• Tulis kode minimal sambil mempertahankan kontrol atas layanan Anda
• Hindari solusi berat berat
• Kompatibel dengan alat/platform lain

Anda berada di tempat yang tepat.

Fitur

Fitur Pinferencia meliputi:

• Cepat ke kode, cepat untuk hidup . Kode minimal diperlukan, transformasi minimal diperlukan. Hanya berdasarkan apa yang Anda miliki.
• Cakupan uji 100% : baik pernyataan dan cakupan cabang, tidak ada bercanda. Pernahkah Anda mengetahui alat penyajian model apa pun yang diuji dengan serius?
• Mudah digunakan, mudah dimengerti .
• GUI yang cantik dan bersih di luar kotak.
• Halaman Dokumentasi API Otomatis . Semua API menjelaskan secara detail dengan fitur cobalah online.
• Sajikan model apa pun , bahkan satu fungsi dapat dilayani.
• Dukung API KServe , kompatibel dengan Kubeflow, TF Lions, Triton dan Torchserve. Tidak ada rasa sakit yang beralih ke atau dari mereka, dan Pinferencia jauh lebih cepat untuk membuat prototipe!

Memasang

Menyarankan

pip install " pinferencia[streamlit] "

Hanya backend

pip install " pinferencia " 

Awal yang cepat

Sajikan model apa pun

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Jalankan saja:

 pinfer app:service

Hore, layanan Anda masih hidup. Pergi ke http://127.0.0.1:8501/ dan bersenang -senang.

Adakah model pembelajaran yang mendalam? Sama mudahnya. Kereta sederhana atau muat model Anda, dan daftarkan dengan layanan. Segera hidup.

Wajah memeluk

Detail: Pipa Huggingface - Visi

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

Tensorflow

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Model kerangka apa pun hanya akan bekerja dengan cara yang sama. Sekarang Jalankan uvicorn app:service --reload dan Nikmati!

Berkontribusi

Jika Anda ingin berkontribusi, detailnya ada di sini