alreadyme ai serving

Servir déjà

Ce référentiel doit servir le modèle déjà sur Fastapi.

Exigences

• torche
• fastapi [tout]
• Omegaconf
• transformateurs
• loguru

Condition préalable

Avant de commencer le serveur, le poids du modèle affiné est requis. Alors que transformers Pipeline ont extrêmement lent, nous utilisons le décapage pour améliorer le temps d'initialisation. Pour cette raison, une conversion est nécessaire:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

Déplacez le modèle de transformateur vers app/resources et modifiez le chemin d'accès dans app/resources/config.yaml .

Exécuter le serveur

Nous vous recommandons de créer une image Docker à la place dans local. Mais il serait préférable d'exécuter avant de construire l'image pour vérifier tout bogue dans le code et votre modèle affiné.

Commencer localement

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

Construire Docker

Nous ne fournissons pas encore d'image pré-construction. Construisez votre propre image avec un modèle personnalisé raffiné!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

Vous pouvez modifier la version de Cuda, Cudnn, Ubuntu et Python. Ils peuvent être utiles pour la compatibilité de différents environnements cloud. Après avoir construit votre image, exécutez Docker par:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

Le conteneur Docker lancera le serveur sur le port 80, vous devez donc vous lier à votre propre numéro de port (par exemple 8080).

Documentation

SOMME-AI-AI-SERVING prend en charge OpenAPI et vous pouvez voir la documentation des API dans votre serveur. Si le serveur s'exécute localement, consultez http://127.0.0.1:8080/docs pour Swagger ou http://127.0.0.1:8080/redoc pour redoc.

Pour plus de commodité, nous avons hébergé une page de documentation Redoc gratuite. Vous pouvez vous connecter pour voir les détails.

Licence

déjà la servante est publiée sous la licence Apache 2.0. La licence peut être trouvée ici.