alreadyme ai serving

Modelo de AI já servir.

Este repositório é para servir o modelo já ME no FASTAPI.

Requisitos

• tocha
• FASTAPI [tudo]
• Omegacaconf
• transformadores
• LOGURU

Pré -requisitos

Antes de iniciar o servidor, o peso do modelo ajustado é necessário. Enquanto transformers Pipeline têm extremamente lento, usamos a decapagem para melhorar o tempo de inicialização. Por causa disso, é necessária alguma conversão:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

Mova o modelo do transformador para app/resources e altere o caminho em app/resources/config.yaml .

Execute o servidor

Recomendamos construir uma imagem do Docker em vez de usar no local. Mas seria melhor executar antes de criar a imagem para verificar qualquer bug no código e no seu modelo ajustado.

Comece localmente

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

Construa Docker

Ainda não fornecemos nenhuma imagem pré-construção. Crie sua própria imagem com modelo de ajuste fino personalizado!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

Você pode mudar a versão de Cuda, Cudnn, Ubuntu e Python. Eles podem ser úteis para a compatibilidade de diferentes ambiente em nuvem. Depois de construir sua imagem, execute o Docker por:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

O contêiner do Docker iniciará o servidor na porta 80, portanto, você deve se vincular ao seu próprio número de porta (por exemplo, 8080).

Documentação

Já que a AI-AIs suporta o OpenAPI e você pode ver a documentação das APIs no seu servidor. Se o servidor estiver em execução localmente, consulte http://127.0.0.1:8080/docs para swagger ou http://127.0.0.1:8080/redoc redoc para redoc.

Por conveniência, hospedamos a página de documentação Redoc gratuita. Você pode fazer login para ver os detalhes.

Licença

Já é o que a servir é liberado sob a licença Apache 2.0. A licença pode ser encontrada aqui.