MLOps

Mlop

Daftar isi

• AI sebagai Layanan: Layanan Berbasis AI Sederhana dengan Serverless (AWS Lambda)

• AWS

  • Lambda

    • Invoke Sagemaker dengan AWS Lambda

  • Sagemaker

    • Sagemaker Huggingface Toolkits
    • Sagemaker Inferenceless Inference

• Manajemen Data

  • Dvc

• Kubernetes

  • Contoh dasar
  • Pemecahan masalah
    • Pemecahan masalah Minikube

• Llm

  • model bahasa besar
    • Agen berorientasi dokumen dengan API OpenAI
    • Fungsi Callings - Buat LLM untuk menggunakan alat
  • LAP
  • peft
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • Teknik yang cepat
    • Bocor-System-Prompts: Sistem yang bocor diminta dari layanan berbasis LLM yang sebenarnya
    • Kode Sumber dan Buku Catatan untuk Belajar Rekayasa Prompt dengan OpenAi

• ML melayani

  • bento-ml
  • Bangun pipa ML dengan server nvidia triton
  • menyajikan model ML dengan fastapi
  • menyajikan model ML dengan labu
  • sinar
    • Sajikan pipa GPT-2 dengan Ray-Serve dan Fastapi
    • Sajikan model GPT-J-6B dengan Ray-Air

Rekomendasi GPU