pinferencia

Простые, но мощные.

---

Английский док | 中文文档 | 中文 Readme

Требуется помощь. Перевод, рэп текст, все разыскиваемые. Не стесняйтесь создавать проблему.

---

Pinferencia пытается стать самым простым сервером вывода машинного обучения в истории!

Три дополнительные строки и ваша модель выходит в интернет .

Обслуживание модели с GUI и REST API никогда не было так просто.

Если вы хотите

• Дайте вашей модели графический интерфейс и API REST
• Найдите простой, но надежный способ обслуживать свою модель
• Напишите минимальные коды при обслуживании обслуживания управления.
• Избегайте любых решений для тяжелых весов
• совместим с другими инструментами/платформами

Вы в нужном месте.

Функции

Особенности Pinferencia включают:

• Быстро код, быстро, чтобы оживить . Необходимы минимальные коды, необходимо минимальное преобразование. Просто на основе того, что у вас есть.
• 100% испытательный охват : как заявление, так и покрытие филиала, без шуток. Вы когда -нибудь знали какой -либо модельный инструмент обслуживания, так серьезно протестированный?
• Простой в использовании, легко понять .
• Красивый и чистый графический интерфейс из коробки.
• Автоматическая страница документации API . Все API объясняется подробно с функцией онлайн-проверки.
• Подавайте любую модель , даже одну функцию может быть выполнена.
• Поддержка KSERVE API , совместим с Kubeflow, TF Serving, Triton и Torchserve. Там нет переключения боли на или от них, и Pinferencia намного быстрее для прототипирования!

Установить

Рекомендую

pip install " pinferencia[streamlit] "

Только бэкэнд

pip install " pinferencia " 

Быстрый старт

Служить любой модели

 from pinferencia import Server


class MyModel :
    def predict ( self , data ):
        return sum ( data )


model = MyModel ()

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Просто беги:

 pinfer app:service

Ура, ваш сервис жив. Перейдите на http://127.0.0.1:8501/ и повеселитесь.

Какие -нибудь модели глубокого обучения? Так же легко. Простой поезд или загрузите свою модель и зарегистрируйте ее в службу. Иди сразу.

Обнимающееся лицо

Детали: трубопровод Huggingface - видение

 from transformers import pipeline

from pinferencia import Server

vision_classifier = pipeline ( task = "image-classification" )


def predict ( data ):
    return vision_classifier ( images = data )


service = Server ()
service . register ( model_name = "vision" , model = predict )

Пирог

 import torch

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# from state_dict
model = TheModelClass ( * args , ** kwargs )
model . load_state_dict ( torch . load ( PATH ))

# entire model
model = torch . load ( PATH )

# torchscript
model = torch . jit . load ( 'model_scripted.pt' )

model . eval ()

service = Server ()
service . register ( model_name = "mymodel" , model = model )

Tensorflow

 import tensorflow as tf

from pinferencia import Server


# train your models
model = "..."

# or load your models (1)
# saved_model
model = tf . keras . models . load_model ( 'saved_model/model' )

# HDF5
model = tf . keras . models . load_model ( 'model.h5' )

# from weights
model = create_model ()
model . load_weights ( './checkpoints/my_checkpoint' )
loss , acc = model . evaluate ( test_images , test_labels , verbose = 2 )

service = Server ()
service . register ( model_name = "mymodel" , model = model , entrypoint = "predict" )

Любая модель любой структуры будет работать так же. Теперь запустите uvicorn app:service --reload и наслаждаться!

Внося

Если вы хотите внести свой вклад, детали здесь