alreadyme ai serving

服務已me.md AI模型

該存儲庫是在FastApi上為已Meme模型提供。

要求

• 火炬
• fastapi [全部]
• omegaconf
• 變壓器
• loguru

先決條件

在啟動服務器之前，需要微調模型重量。儘管transformers管道的速度非常慢，但我們使用醃製來增強初始化時間。因此，需要一些轉換：

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

將變壓器模型移至app/resources ，然後更改app/resources/config.yaml中的路徑。

運行服務器

我們建議構建Docker映像，而不是在本地使用。但是，最好在構建圖像之前運行以檢查代碼和微調模型中的任何錯誤。

在本地開始

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

構建Docker

我們尚未提供任何前構建圖像。使用自定義微調模型構建自己的圖像！

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

您可以更改Cuda，Cudnn，Ubuntu和Python的版本。它們對於不同雲環境的兼容性很有用。構建圖像後，運行Docker：

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

Docker容器將在端口80上啟動服務器，因此您應該綁定到自己的端口號（例如8080）。

文件

已經使用了ai-ai服務支持OpenAPI，您可以在服務器中看到API的文檔。如果服務器在本地運行，請查看http://127.0.0.1:8080/docs ，以獲取Swagger或http://127.0.0.1:8080/redoc 8080/redoc。

為了方便起見，我們託管了免費的重複文檔頁面。您可以登錄以查看詳細信息。

執照

已經按照Apache許可證2.0發布了已經發布的服務。可以在此處找到許可證。