alreadyme ai serving

Sirviendo el modelo de AI de MD.md

Este repositorio debe servir al modelo de Fastapi.

Requisitos

• antorcha
• Fastapi [todos]
• omegaconf
• transformadores
• loguru

Requisitos previos

Antes de comenzar el servidor, se requiere el peso del modelo ajustado. Si bien transformers Pipeline tiene extremadamente lento, usamos el decapado para mejorar el tiempo de inicialización. Debido a eso, se necesita alguna conversión:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

Mueva el modelo Transformer a app/resources y cambie la ruta en app/resources/config.yaml .

Ejecutar el servidor

Recomendamos construir una imagen Docker en su lugar en Local. Pero sería mejor ejecutar antes de construir la imagen para verificar cualquier error en el código y su modelo ajustado.

Comience localmente

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

Build Docker

Todavía no proporcionamos ninguna imagen previa a la construcción. ¡Construya su propia imagen con el modelo personalizado de ajuste!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

Puede cambiar la versión de Cuda, Cudnn, Ubuntu y Python. Pueden ser útiles para la compatibilidad de diferentes entornos de nubes. Después de construir su imagen, ejecute Docker por:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

El contenedor Docker iniciará el servidor en el puerto 80, por lo que debe vincularse a su propio número de puerto (por ejemplo, 8080).

Documentación

Ya se admite ya que se admite OpenAPI y puede ver la documentación de las API en su servidor. Si el servidor se ejecuta localmente, consulte http://127.0.0.1:8080/docs para swagger o http://127.0.0.1:8080/redoc para redoc.

Por conveniencia, organizamos la página de documentación Redoc gratuita. Puede iniciar sesión para ver los detalles.

Licencia

Ya ME-AI-Serving se lanza bajo la licencia Apache 2.0. La licencia se puede encontrar aquí.