pinferencia下载 - pinferencia源代码下载

pinferencia

其他源码

v0.2.1

下载

Pinferencia

简单，但功能强大。

英语文档| 中文文档| 中文读书我

把招工广告。翻译，说唱歌词，都想要。随意创建一个问题。

Pinferencia试图成为有史以来最简单的机器学习推理服务器！

额外的三条线，您的模型将在线。

使用GUI和REST API服务模型从未如此简单。

Pinferencia-gui

Pinferencia-Rest API

如果你想

给您的模型一个GUI和REST API
找到一种简单但坚固的方式来服务您的模型
在维护对您的服务的控制时，写最小的代码
避免任何重量级解决方案
与其他工具/平台兼容

你在正确的地方。

特征

Pinferencia功能包括：

快速到达代码，快速生命。最小的代码需要最小的转换。只是基于您拥有的。
100％的测试覆盖范围：陈述和分支机构覆盖，没有开玩笑。您是否知道任何如此认真测试的模型服务工具？
易于使用，易于理解。
一个漂亮干净的gui盒子。
自动API文档页面。所有API详细介绍了在线试用功能。
使用任何模型，甚至可以提供一个功能。
支持Kserve API ，与KubeFlow，TF Serving，Triton和Torchserve兼容。没有疼痛转移到或从中切换出来，而Pinferencia对于原型制作来说更快！

安装

仅后端

pip install " pinferencia "

快速开始

服务任何模型

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

只是运行：

 pinfer app:service

哇，您的服务还活着。访问http://127.0.0.1:8501/并玩得开心。

有深度学习模型吗？同样容易。简单火车或加载模型，然后在服务中注册。立即活着。

拥抱脸

详细信息：拥抱面管线 - 视觉

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

张量

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )