MLOps

mlops

目錄

• AI作為服務：帶有無服務器的簡單基於AI的服務（AWS lambda）

• AWS

  • Lambda

    • 與AWS Lambda一起調用Sagemaker

  • 薩格人

    • Sagemaker擁抱面工具包
    • Sagemaker無服務器推理

• 數據管理

  • DVC

• Kubernetes

  • 基本示例
  • 故障排除
    • Minikube故障排除

• LLM

  • 大型語言模型
    • 使用OpenAI API的文檔定位代理
    • 功能呼叫 - 使LLM使用工具
  • 抹布
  • peft
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • 及時的工程
    • 洩漏的系統 - 系統：洩漏的基於LLM的服務的系統提示
    • 源代碼和學習筆記本及時使用OpenAi的筆記本

• ML服務

  • Bento-Ml
  • 使用NVIDIA TRITON服務器構建ML管道
  • 使用FastApi提供ML模型
  • 用燒瓶提供ML型號
  • 射線
    • 將GPT-2管道與Ray-Serve和FastApi一起使用
    • 用射線播放GPT-J-6B型號

GPU建議