alreadyme ai serving

服务已me.md AI模型

该存储库是在FastApi上为已Meme模型提供。

要求

• 火炬
• fastapi [全部]
• omegaconf
• 变压器
• loguru

先决条件

在启动服务器之前，需要微调模型重量。尽管transformers管道的速度非常慢，但我们使用腌制来增强初始化时间。因此，需要一些转换：

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

将变压器模型移至app/resources ，然后更改app/resources/config.yaml中的路径。

运行服务器

我们建议构建Docker映像，而不是在本地使用。但是，最好在构建图像之前运行以检查代码和微调模型中的任何错误。

在本地开始

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

构建Docker

我们尚未提供任何前构建图像。使用自定义微调模型构建自己的图像！

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

您可以更改Cuda，Cudnn，Ubuntu和Python的版本。它们对于不同云环境的兼容性很有用。构建图像后，运行Docker：

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

Docker容器将在端口80上启动服务器，因此您应该绑定到自己的端口号（例如8080）。

文档

已经使用了ai-ai服务支持OpenAPI，您可以在服务器中看到API的文档。如果服务器在本地运行，请查看http://127.0.0.1:8080/docs ，以获取Swagger或http://127.0.0.1:8080/redoc 8080/redoc。

为了方便起见，我们托管了免费的重复文档页面。您可以登录以查看详细信息。

执照

已经按照Apache许可证2.0发布了已经发布的服务。可以在此处找到许可证。