pinferencia

간단하지만 강력합니다.

---

영어 문서 | 中文文档 | 中文 readme

도움이 필요합니다. 번역, 랩 가사, All Wanted. 자유롭게 문제를 만들 수 있습니다.

---

Pinferencia는 가장 간단한 기계 학습 추론 서버가 되려고합니다!

3 개의 추가 라인과 모델이 온라인으로 진행됩니다 .

GUI 및 REST API로 모델을 제공하는 것은 결코 쉬운 일이 아닙니다.

원한다면

• 모델에 GUI 와 REST API를 제공하십시오
• 모델에 서비스를 제공하는 간단하지만 강력한 방법을 찾으십시오.
• 서비스를 통제하는 동안 최소한 의 코드를 작성하십시오
• 무거운 체중 솔루션을 피하십시오
• 다른 도구/플랫폼과 호환됩니다

당신은 올바른 장소에 있습니다.

특징

Pinferencia 기능은 다음과 같습니다.

• 빨리 코드로 빠르게 살아남습니다 . 최소한의 코드가 필요하고 최소한의 변환이 필요했습니다. 당신이 가진 것에 기초합니다.
• 100% 테스트 범위 : 진술 및 지점 보도, 농담 없음. 모델 서빙 도구가 그렇게 심각하게 테스트 된 것을 알고 있습니까?
• 사용하기 쉽고 이해하기 쉽습니다 .
• 상자에서 예쁘고 깨끗한 gui .
• 자동 API 문서 페이지 . 모든 API는 온라인 트라이 아웃 기능을 사용하여 자세한 내용을 설명했습니다.
• 모든 모델을 제공하면 단일 기능조차 제공 할 수 있습니다.
• kubeflow, TF 서빙, Triton 및 Torchserve와 호환되는 Kserve API를 지원하십시오 . 그들로부터 전환하는 통증은 없으며, Pinferencia는 프로토 타이핑을 위해 훨씬 빠릅니다!

설치하다

추천하다

pip install " pinferencia[streamlit] "

백엔드 만

pip install " pinferencia " 

빠른 시작

모든 모델을 제공하십시오

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

그냥 실행 :

 pinfer app:service

만세, 당신의 서비스는 살아 있습니다. http://127.0.0.1:8501/로 이동하여 재미있게 보내십시오.

딥 러닝 모델이 있습니까? 마찬가지로 쉽습니다. 간단한 훈련 또는 모델을로드하고 서비스에 등록하십시오. 즉시 살아 가십시오.

포옹 얼굴

세부 사항 : Huggingface 파이프 라인 - 비전

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Pytorch

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

텐서 플로

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

모든 프레임 워크 모델은 같은 방식으로 작동합니다. 이제 uvicorn app:service --reload and Googn을 실행하십시오!

기여

기여하고 싶다면 세부 사항이 여기에 있습니다