MLOps

Mlops

Table des matières

• AI en tant que service: Service simple basé sur l'IA avec serveur sans serveur (AWS Lambda)

• AWS

  • Lambda

    • Invoquer Sagemaker avec AWS Lambda

  • Poulain

    • Kites d'outils Sagemaker HuggingFace
    • Inférence sans serveur Sagemaker

• Gestion des données

  • DVC

• Kubernetes

  • Exemples de base
  • Dépannage
    • dépannage minikube

• LLM

  • Modèles de grande langue
    • Agent orienté vers le document avec API OpenAI
    • Callings de fonction - Faites de LLM pour utiliser des outils
  • CHIFFON
  • pivot
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • ingénierie rapide
    • PROPTES DE SYSTÈME DE LA FOURNE: Invites du système divulguées de services basés sur LLM
    • Codes source et cahiers pour apprendre l'ingénierie rapide avec OpenAI

• ML Service

  • bento-ml
  • Créer des pipelines ML avec Nvidia Triton Server
  • Servir des modèles ML avec Fastapi
  • Servir des modèles ML avec flacon
  • rayon
    • Servir le pipeline GPT-2 avec Ray-Seser et Fastapi
    • Servir le modèle GPT-J-6B avec Ray-Air

Recommandations GPU