MLOps

Mlops

Inhaltsverzeichnis

• KI als Dienst: Einfacher KI-basierter Dienst mit Serverless (AWS Lambda)

• AWS

  • Lambda

    • Rufen Sie Sagemaker mit AWS Lambda an

  • Sagemaker

    • SAGEMAKER SURKGINGFACE -Toolkits
    • Sagemaker serverloser Inferenz

• Datenverwaltung

  • DVC

• Kubernetes

  • Grundlegende Beispiele
  • Fehlerbehebung
    • Minikube -Fehlerbehebung

• Llm

  • Großsprachige Modelle
    • Dokumentorientierter Agent mit OpenAI -API
    • Funktionsanrufe - Machen Sie LLM, um Tools zu verwenden
  • LAPPEN
  • Peft
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • Schnelltechnik
    • Durchgesickerte System-Prompts: durchgesickerte Systemaufforderungen der tatsächlichen LLM-basierten Dienste
    • Quellcodes und Notizbücher für das Lernen von Eingabeaufforderungstechnik mit OpenAI

• ML Serving

  • Bento-ml
  • Erstellen Sie ML -Pipelines mit Nvidia Triton Server
  • Servieren von ML -Modellen mit Fastapi
  • Servieren von ML -Modellen mit Kolben
  • Strahl
    • Servieren Sie die GPT-2-Pipeline mit Ray-Serve und Fastapi
    • Servieren Sie das GPT-J-6B-Modell mit Ray-Air

GPU -Empfehlungen