MLOps

Mlops

Tabla de contenido

• AI como servicio: servicio simple basado en IA con servidor (AWS Lambda)

• AWS

  • Lambda

    • Invocar a Sagemaker con AWS Lambda

  • Sagemaker

    • Sagemaker Huggingface Toolkits
    • Inferencia sin servidor de Sagemaker

• Gestión de datos

  • DVC

• Kubernetes

  • Ejemplos básicos
  • Resolución de problemas
    • Solución de problemas de Minikube

• LLM

  • modelos de idiomas grandes
    • Agente orientado a documentos con API de OpenAI
    • Llamados de funciones: haga LLM para usar herramientas
  • TRAPO
  • peft
  • fsdp_qlora
  • llama_index
  • Tensorlm
  • ingeniería rápida
    • Filtrado-System-Prompts: indicaciones del sistema filtradas de los servicios reales basados ​​en LLM
    • Códigos de origen y cuadernos para aprender ingeniería rápida con OpenAI

• Ml de servicio

  • bento-ml
  • Construya tuberías ML con NVIDIA Triton Server
  • Sirviendo modelos ML con Fastapi
  • Sirviendo modelos de ML con frasco
  • rayo
    • Servir la tubería GPT-2 con Ray-Ad-AdServe y Fastapi
    • Servir el modelo GPT-J-6B con Ray-Air

Recomendaciones de GPU