llm applications

LLM -Anwendungen

Ein umfassender Leitfaden zum Aufbau von LLM-Anwendungen auf Lappenbasis für die Produktion.

• Blogbeitrag : https://www.anyscale.com/blog/a-compreedsive-guide-for-building-rag-basierte-lm-anapplications-part-1
• Github Repository : https://github.com/ray-project/llm-anapplications
• Interaktives Notizbuch : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• Anyscale -Endpunkte : https://endpoints.anyscale.com/
• Ray -Dokumentation : https://docs.ray.io/

In diesem Leitfaden lernen wir:

• Entwickeln Sie eine LLM -Anwendung von Abruf Augmented Generation (RAG).
• Skalieren Sie die Hauptkomponenten (Last, Chunk, Einbettung, Index, Servieren usw.) in unserer Anwendung.
• ✅ Bewerten Sie verschiedene Konfigurationen unserer Anwendung, um sowohl für prokomponente (z. B. retrieval_score) als auch für die Gesamtleistung (quality_score) zu optimieren.
• ? Implementieren Sie den LLM -Hybrid -Routing -Ansatz, um die Lücke b/w oss und geschlossene LLMs zu schließen.
• ? Servieren Sie die Anwendung in hoch skalierbarer und verfügbarer Weise.
• ? Teilen Sie die Auswirkungen auf die 1. Auftrag und die LLM -Anwendungen der ersten Ordnung und die Auswirkungen von LLM für unsere Produkte.

Aufstellen

API -Schlüssel

Wir werden OpenAI verwenden, um auf ChatGPT-Modelle wie gpt-3.5-turbo , gpt-4 usw. und AnyScale-Endpunkte zuzugreifen, um auf OSS-LLMs wie Llama-2-70b zuzugreifen. Stellen Sie sicher, dass Sie Ihre Konten für beide erstellen und Ihre Anmeldeinformationen vorbereiten.

Berechnen

Lokal

Sie können dies auf Ihrem lokalen Laptop ausführen, aber wir empfehlen dringend, ein Setup mit Zugriff auf GPUs zu verwenden. Sie können dies selbst oder auf [AnyScale] (http://anyscale.com/) einrichten.

AnyScale

• Starten Sie einen neuen AnyScale -Arbeitsbereich in der Inszenierung mit einem g3.8xlarge -Kopfknoten mit 2 GPUs und 32 CPUs. Wir können auch GPU -Arbeiterknoten hinzufügen, um die Workloads schneller auszuführen. Wenn Sie nicht in AnyScale sind, können Sie eine ähnliche Instanz in Ihrer Cloud konfigurieren.
• Verwenden Sie die Cluster -Umgebung default_cluster_env_2.6.2_py39 .
• Verwenden Sie das us-west-2 wenn Sie die Artefakte in unserem gemeinsam genutzten Speicher verwenden möchten (Quelldokumente, Vektor-DB-Dumps usw.).

Repository

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Daten

Unsere Daten sind bereits bereit unter /efs/shared_storage/goku/docs.ray.io/en/master/ (auf Inszenierung, us-east-1 /desired/output/directory .

git clone https://github.com/ray-project/llm-applications.git .

Umfeld

Richten Sie dann die Umgebung korrekt ein, indem Sie die Werte in Ihrer .env -Datei angeben und die Abhängigkeiten installieren:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Anmeldeinformationen

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

Jetzt sind wir bereit, das interaktive Notebook von RAG.Ipynb zu durchlaufen, um unsere LLM -Anwendung zu entwickeln und zu bedienen!

Erfahren Sie mehr

• Wenn Ihr Team stark in die Entwicklung von LLM -Anwendungen investiert, wenden Sie sich an uns, um mehr darüber zu erfahren, wie Ray und Anycale Ihnen helfen können, alles zu skalieren und zu produzieren.
• Beginnen Sie mit dem Servieren (+Feinabstimmung) OSS-LLMs mit AnyScale-Endpunkten ($ 1/m Token für Llama-3-70b ) und private Endpunkte, die auf Anfrage erhältlich sind (1m kostenlose Token-Testversion).
• Erfahren Sie mehr darüber, wie Unternehmen wie Openai, Netflix, Pinterest, Verizon, Instacart und andere Ray und Anyscale für ihre KI-Arbeitsbelastung auf dem Ray Summit 2024 am 18. bis 20. September in San Francisco nutzen.