MLOps

Mlops

Índice

• AI como serviço: serviço simples baseado em IA com servidor sem servidor (AWS Lambda)

• AWS

  • Lambda

    • Invoque o Sagemaker com a AWS Lambda

  • Sagemaker

    • Kits de ferramentas do Sagemaker Huggingface
    • Inferência sem servidor de sagemaker

• Gerenciamento de dados

  • DVC

• Kubernetes

  • Exemplos básicos
  • Solucionamentos de problemas
    • Minikube Solução de problemas

• Llm

  • grandes modelos de linguagem
    • Agente orientado a documentos com API OpenAi
    • Callings de função - Faça LLM usar ferramentas
  • Pano
  • peft
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • Engenharia rápida
    • Promoções de sistema vazado: Sistema vazado de avisos de serviços reais baseados em LLM
    • Códigos de origem e notebooks para aprender engenharia rápida com o OpenAI

• ML Serviço

  • bento-ml
  • Construa pipelines ML com o NVIDIA Triton Server
  • Servindo modelos de ML com FASTAPI
  • Servindo modelos de ML com frasco
  • raio
    • Sirva o pipeline GPT-2 com Ray-Serve e FASTAPI
    • Sirva o modelo GPT-J-6B com Ray-Air

Recomendações da GPU