alreadyme ai serving

Diener für das AI -Modell für bereits

Dieses Repository soll bereits Modell auf Fastapi dienen.

Anforderungen

• Fackel
• Fastapi [alle]
• Omegaconf
• Transformatoren
• loguru

Voraussetzungen

Vor dem Starten des Servers ist das fein abgestimmte Modellgewicht erforderlich. Während transformers -Pipeline extrem langsam ist, verwenden wir die Initialisierungszeit für die Erhöhung der Initialisierungszeit. Aus diesem Grund ist eine gewisse Konvertierung erforderlich:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

Verschieben Sie das Transformatormodell in app/resources und ändern Sie den Pfad in app/resources/config.yaml .

Führen Sie den Server aus

Wir empfehlen, stattdessen ein Docker -Image zu erstellen. Es wäre jedoch besser, vor dem Erstellen des Bildes zu laufen, um einen Fehler im Code und Ihr fein abgestimmter Modell zu überprüfen.

Vor Ort beginnen

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

Bauen Sie Docker

Wir bieten noch kein Bild vor dem Bau. Erstellen Sie Ihr eigenes Bild mit benutzerdefiniertem, fein abgestimmter Modell!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

Sie können die Version von Cuda, Cudnn, Ubuntu und Python ändern. Sie können für die Kompatibilität verschiedener Cloud -Umgebungen nützlich sein. Führen Sie nach dem Erstellen Ihres Bildes Docker durch::

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

Der Docker -Container startet den Server auf Port 80, sodass Sie an Ihre eigene Portnummer verbinden sollten (z. B. 8080).

Dokumentation

BotingMe-ai-Sending unterstützt OpenAPI und Sie können die Dokumentation der APIs in Ihrem Server sehen. Wenn der Server lokal ausgeführt wird, lesen Sie http://127.0.0.1:8080/docs für Swagger oder http://127.0.0.1:8080/redoc für Redoc.

Zur Bequemlichkeit haben wir kostenlose Redoc -Dokumentationsseite gehostet. Sie können sich anmelden, um die Details anzuzeigen.

Lizenz

BotingMe-AI-Sending wird unter der Apache-Lizenz 2.0 veröffentlicht. Die Lizenz ist hier zu finden.