pinferencia

簡單，但功能強大。

---

英語文檔| 中文文檔| 中文讀書我

把招工廣告。翻譯，說唱歌詞，都想要。隨意創建一個問題。

---

Pinferencia試圖成為有史以來最簡單的機器學習推理服務器！

額外的三條線，您的模型將在線。

使用GUI和REST API服務模型從未如此簡單。

如果你想

• 給您的模型一個GUI和REST API
• 找到一種簡單但堅固的方式來服務您的模型
• 在維護對您的服務的控制時，寫最小的代碼
• 避免任何重量級解決方案
• 與其他工具/平台兼容

你在正確的地方。

特徵

Pinferencia功能包括：

• 快速到達代碼，快速生命。最小的代碼需要最小的轉換。只是基於您擁有的。
• 100％的測試覆蓋範圍：陳述和分支機構覆蓋，沒有開玩笑。您是否知道任何如此認真測試的模型服務工具？
• 易於使用，易於理解。
• 一個漂亮乾淨的gui盒子。
• 自動API文檔頁面。所有API詳細介紹了在線試用功能。
• 使用任何模型，甚至可以提供一個功能。
• 支持Kserve API ，與KubeFlow，TF Serving，Triton和Torchserve兼容。沒有疼痛轉移到或從中切換出來，而Pinferencia對於原型製作來說更快！

安裝

推薦

pip install " pinferencia[streamlit] "

僅後端

pip install " pinferencia " 

快速開始

服務任何模型

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

只是運行：

 pinfer app:service

哇，您的服務還活著。訪問http://127.0.0.1:8501/並玩得開心。

有深度學習模型嗎？同樣容易。簡單火車或加載模型，然後在服務中註冊。立即活著。

擁抱臉

詳細信息：擁抱面管線 - 視覺

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

張量

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

任何框架的任何模型都將以相同的方式工作。現在運行uvicorn app:service --reload並享受！

貢獻

如果您想貢獻，細節在這裡