alreadyme ai serving

Подача модели AlReadyMe.md AI

Этот репозиторий должен обслуживать модель AlReadyme на FASTAPI.

Требования

• факел
• FASTAPI [все]
• Omegaconf
• Трансформеры
• Логору

Предварительные условия

Перед запуском сервера требуется тонкий вес модели. В то время как transformers Pipeline имеет чрезвычайно медленную, мы используем маринованную часть, чтобы улучшить время инициализации. Из -за этого необходимо некоторое преобразование:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

Переместите модель трансформатора в app/resources и измените путь в app/resources/config.yaml .

Запустите сервер

Мы рекомендуем построить изображение Docker вместо этого, используя в Local. Но было бы лучше запустить, прежде чем создать изображение, чтобы проверить любую ошибку в коде и вашей тонкой модели.

Начните локально

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

Построить Docker

Мы еще не предоставляем ни одного изображения перед сборкой. Создайте свое собственное изображение с помощью пользовательской тонкой модели!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

Вы можете изменить версию Cuda, Cudnn, Ubuntu и Python. Они могут быть полезны для совместимости различной облачной среды. После создания вашего изображения запустите Docker по:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

Контейнер Docker запустит сервер на порту 80, поэтому вам следует привязать свой собственный номер порта (например, 8080).

Документация

AlReadyMe-AI-Serving поддерживает OpenAPI, и вы можете увидеть документацию API на вашем сервере. Если сервер работает локально, посетите http://127.0.0.1:8080/docs для Swagger или http://127.0.0.1:8080/redoc для Redoc.

Для удобства мы разместили бесплатную страницу документации Redoc. Вы можете войти в систему, чтобы увидеть детали.

Лицензия

Alreadyme-AI-Serving выпускается по лицензии Apache 2.0. Лицензия можно найти здесь.