alreadyme ai serving - alreadyme ai serving تنزيل رمز المصدر

alreadyme ai serving

كود الذكاء الاصطناعي

1.0.0

تنزيل

خدمة بالفعل نموذج الذكاء الاصطناعي

هذا المستودع هو خدمة نموذج بالفعل على Fastapi.

متطلبات

الشعلة
fastapi [الكل]
أوميجاكونف
محولات
loguru

المتطلبات الأساسية

قبل بدء الخادم ، يلزم وزن النموذج الذي تم ضبطه. في حين أن خط أنابيب transformers بطيء للغاية ، فإننا نستخدم التخليل لتعزيز وقت التهيئة. بسبب ذلك ، هناك حاجة إلى بعض التحويل:

 import torch
from transformers import pipeline

pipe = pipeline ( "text-generation" , "bloom-1b7-finetuned-readme-270k-steps" , torch_dtype = torch . float16 , device = 0 )
torch . save ( pipe , "bloom-1b7-finetuned-readme-270k-steps/pipeline.pt" )

انقل نموذج المحول إلى app/resources وتغيير المسار في app/resources/config.yaml .

تشغيل الخادم

نوصي بإنشاء صورة Docker بدلاً من ذلك باستخدامها في Local. ولكن سيكون من الأفضل تشغيلها قبل إنشاء الصورة للتحقق من أي خطأ في الكود ونموذجك المعروف.

ابدأ محليا

$ cd app
$ uvicorn main:app --ip [your ip address] --port [your port]

بناء Docker

نحن لا نقدم أي صورة قبل البناء حتى الآن. بناء صورتك الخاصة مع طراز مخصص مخصص!

$ docker build -t alreadyme-ai-serving:v0.1.2 -f Dockerfile 
    --build-args CUDA_VER=11.6.1 
    --build-args CUDNN_VER=8 
    --build-args UBUNTU_VER=18.04 
    --build-args PYTHON_VER=39

يمكنك تغيير إصدار Cuda و Cudnn و Ubuntu و Python. يمكن أن تكون مفيدة لتوافق بيئة سحابية مختلفة. بعد بناء صورتك ، قم بتشغيل Docker بواسطة:

$ docker run --gpus all -p 8080:80 alreadyme-ai-serving:v0.1.2

ستطلق حاوية Docker الخادم على المنفذ 80 ، لذلك يجب عليك ربط رقم المنفذ الخاص بك (على سبيل المثال 8080).

الوثائق

بالفعل يدعم Openapi OpenPi ، ويمكنك رؤية وثائق واجهات برمجة التطبيقات في الخادم الخاص بك. إذا كان الخادم يعمل محليًا ، تحقق من http://127.0.0.1:8080/docs لـ Swagger أو http://127.0.0.1:8080/redoc لـ Redoc.

للراحة ، استضفنا صفحة توثيق REDOC المجانية. يمكنك تسجيل الدخول لرؤية التفاصيل.