MLOps

mlops

목차

• 서비스로 AI : 서버리스가있는 간단한 AI 기반 서비스 (AWS Lambda)

• AWS

  • 람다

    • AWS Lambda로 Sagemaker를 호출하십시오

  • SAGEMAKER

    • Sagemaker Huggingface Toolkits
    • Sagemaker 서버리스 추론

• 데이터 관리

  • DVC

• Kubernetes

  • 기본 예
  • 문제 해결
    • Minikube 문제 해결

• LLM

  • 큰 언어 모델
    • OpenAI API가있는 문서 지향 에이전트
    • 기능 호출 - LLM을 사용하여 도구를 사용하십시오
  • 조각
  • PEFT
  • fsdp_qlora
  • llama_index
  • Tensorllm
  • 프롬프트 엔지니어링
    • 유출 시스템 프롬프트 : 실제 LLM 기반 서비스의 유출 시스템 프롬프트
    • OpenAI를 사용한 신속한 엔지니어링 학습을위한 소스 코드 및 노트북

• ML 서빙

  • Bento-ML
  • NVIDIA Triton 서버를 사용하여 ML 파이프 라인을 구축하십시오
  • Fastapi와 함께 ML 모델을 제공합니다
  • 플라스크로 ML 모델을 제공합니다
  • 레이
    • Ray-Serve 및 Fastapi와 함께 GPT-2 파이프 라인을 제공하십시오
    • Ray-Air와 함께 GPT-J-6B 모델을 제공하십시오

GPU 권장 사항