ดาวน์โหลด alreadyme ai serving ดาวน์โหลดแล้ว

alreadyme ai serving

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

ให้บริการรุ่น AI แล้ว

พื้นที่เก็บข้อมูลนี้คือการให้บริการรุ่นที่มีอยู่แล้วบน fastapi

ความต้องการ

คบเพลิง
fastapi [ทั้งหมด]
โอเมก้าคอน
หม้อแปลงไฟฟ้า
loguru

ข้อกำหนดเบื้องต้น

ก่อนที่จะเริ่มเซิร์ฟเวอร์จำเป็นต้องมีน้ำหนักรุ่นที่ปรับแต่งได้ ในขณะที่ไปป์ไลน์ transformers นั้นช้ามากเราใช้ดองเพื่อเพิ่มเวลาเริ่มต้น ด้วยเหตุนี้จึงจำเป็นต้องมีการแปลงบางอย่าง:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

ย้ายโมเดลหม้อแปลงไปยัง app/resources และเปลี่ยนเส้นทางใน app/resources/config.yaml

เรียกใช้เซิร์ฟเวอร์

เราขอแนะนำให้สร้างอิมเมจนักเทียบท่าแทนในท้องถิ่น แต่มันจะดีกว่าที่จะทำงานก่อนที่จะสร้างภาพเพื่อตรวจสอบข้อผิดพลาดใด ๆ ในรหัสและโมเดลที่ปรับแต่งของคุณ

เริ่มต้นในพื้นที่

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

สร้าง Docker

เรายังไม่ได้ให้ภาพล่วงหน้าใด ๆ สร้างภาพของคุณเองด้วยโมเดลปรับแต่งแบบกำหนดเอง!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

คุณสามารถเปลี่ยนเวอร์ชันของ Cuda, Cudnn, Ubuntu และ Python พวกเขามีประโยชน์สำหรับความเข้ากันได้ของสภาพแวดล้อมคลาวด์ที่แตกต่างกัน หลังจากสร้างภาพของคุณแล้วให้เรียกใช้ Docker โดย:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

คอนเทนเนอร์ Docker จะเปิดตัวเซิร์ฟเวอร์บนพอร์ต 80 ดังนั้นคุณควรเชื่อมโยงกับหมายเลขพอร์ตของคุณเอง (เช่น 8080)

เอกสาร

การให้บริการที่ให้บริการกับ OpenAPI นั้นรองรับ OpenAPI แล้ว และคุณสามารถดูเอกสารของ APIs ในเซิร์ฟเวอร์ของคุณ หากเซิร์ฟเวอร์ทำงานในเครื่องให้ตรวจสอบ http://127.0.0.1:8080/docs สำหรับ swagger หรือ http://127.0.0.1:8080/redoc สำหรับ redoc

เพื่อความสะดวกเราโฮสต์หน้าเอกสารใหม่ฟรี คุณสามารถเข้าสู่ระบบเพื่อดูรายละเอียด