MLOps

Млопс

Оглавление

• ИИ как служба: простая служба на основе AI с Serverless (AWS Lambda)

• AWS

  • Лямбда

    • вызвать сагмакер с AWS Lambda

  • Сагиер

    • Sagemaker Huggingface Toolkits
    • SageMaker без сервера

• Управление данными

  • DVC

• Kubernetes

  • Основные примеры
  • Устранение неполадок
    • Устранение неполадок Minikube

• LLM

  • Большие языковые модели
    • Ориентированный на документ агент с API OpenAI
    • Функциональные призывы - сделайте LLM для использования инструментов
  • Тряпичный
  • Пефт
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • оперативная инженерия
    • Утечка-система-предложения: просочившие системы
    • исходные коды и записные книжки для обучения

• ML Сервика

  • Bento-Ml
  • Создайте конвейеры ML с сервером NVIDIA TRITON
  • Подача моделей ML с FastAPI
  • Подача моделей ML с колбой
  • луча
    • Подавать трубопровод GPT-2 с лучами и Fastapi
    • Подавать модель GPT-J-6B с Ray-Air

Рекомендации графического процессора