MLOps

Mlops

جدول المحتويات

• الذكاء الاصطناعي كخدمة: خدمة بسيطة تستند إلى الذكاء الاصطناعي مع Serverless (AWS Lambda)

• AWS

  • لامدا

    • استدعاء Sagemaker مع AWS Lambda

  • Sagemaker

    • Sagemaker Huggingface Toolkits
    • Sagemaker الاستدلال بدون خادم

• إدارة البيانات

  • DVC

• Kubernetes

  • أمثلة أساسية
  • استكشاف الأخطاء وإصلاحها
    • Minikube استكشاف الأخطاء وإصلاحها

• LLM

  • نماذج لغة كبيرة
    • وكيل موجه نحو الوثيقة مع Openai API
    • استدعاء الوظائف - اجعل LLM لاستخدام الأدوات
  • خرقة
  • PEFT
  • FSDP_Qlora
  • llama_index
  • Tensorllm
  • الهندسة الفورية
    • تعرض نظام التسرب: مطالبات نظام تسرب للخدمات الفعلية المستندة إلى LLM
    • رموز المصدر وأجهزة الكمبيوتر المحمولة للتعلم الهندسة المطالبة مع Openai

• ML Serving

  • Bento-ML
  • بناء خطوط أنابيب ML مع خادم Nvidia Triton
  • خدمة نماذج ML مع fastapi
  • خدمة نماذج ML مع قارورة
  • راي
    • خدمة خط أنابيب GPT-2 مع خسارة الأشعة و fastapi
    • خدمة نموذج GPT-J-6B مع Ray-Air

توصيات GPU