llm applications

Applications LLM

Un guide complet pour construire des applications LLM basées sur des chiffons pour la production.

• Post de blog : https://www.anyscale.com/blog/a-comprehensive-guide-for-building-bag basked-llm-applications-start-1
• Référentiel GitHub : https://github.com/ray-project/llm-applications
• Carnet interactif : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• Points de terminaison AnyScale : https://endpoids.anyscale.com/
• Documentation des rayons : https://docs.ray.io/

Dans ce guide, nous apprendrons à:

• Développer une application LLM basée sur la génération augmentée (RAG) de récupération à partir de zéro.
• Échelle les principaux composants (charge, morceau, intégrer, index, servir, etc.) dans notre application.
• ✅ Évaluez différentes configurations de notre application pour optimiser à la fois pour les performances par composant (Ex. Retrieval_score) et les performances globales (Quality_score).
• ? Mettez en œuvre une approche de routage hybride LLM pour combler les ORS de l'espace et les LLM fermés.
• ? Servir l'application de manière très évolutive et disponible.
• ? Partagez la première commande et les impacts de la deuxième commande ont eu des applications LLM sur nos produits.

Installation

Clés API

Nous utiliserons OpenAI pour accéder aux modèles ChatGPT comme gpt-3.5-turbo , gpt-4 , etc. et tous les points de terminaison pour accéder aux LLMS OSS comme Llama-2-70b . Assurez-vous de créer vos comptes pour les deux et préparez vos informations d'identification.

Calculer

Locale

Vous pouvez exécuter cela sur votre ordinateur portable local, mais un nous recommandons fortement d'utiliser une configuration avec accès aux GPU. Vous pouvez configurer cela par vous-même ou sur [anyscale] (http://anyscale.com/).

Tous les niveaux

• Démarrez un nouvel espace de travail AnyScale sur la mise en scène à l'aide d'un nœud de tête g3.8xlarge , qui a 2 GPU et 32 ​​CPU. Nous pouvons également ajouter des nœuds de travail GPU pour exécuter les charges de travail plus rapidement. Si vous n'êtes pas sur des échelons, vous pouvez configurer une instance similaire sur votre cloud.
• Utilisez l'environnement de cluster default_cluster_env_2.6.2_py39 .
• Utilisez le us-west-2 si vous souhaitez utiliser les artefacts dans notre stockage partagé (documents source, vidanges Vector DB, etc.).

Dépôt

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Données

Nos données sont déjà prêtes à /efs/shared_storage/goku/docs.ray.io/en/master/ (sur la mise en scène, us-east-1 ) mais si vous vouliez le charger vous-même, exécutez cette commande bash (modifier /desired/output/directory , mais assurez-vous qu'elle est sur le stockage partagé, afin qu'il soit accessible aux travailleurs)

git clone https://github.com/ray-project/llm-applications.git .

Environnement

Configurez ensuite correctement l'environnement en spécifiant les valeurs dans votre fichier .env et en installant les dépendances:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Informations d'identification

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

Maintenant, nous sommes prêts à passer par le carnet interactif Rag.Ipynb pour développer et servir notre application LLM!

Apprendre encore plus

• Si votre équipe investit massivement dans le développement d'applications LLM, contactez-nous pour en savoir plus sur la façon dont Ray et AnyScale peuvent vous aider à tout évoluer et à tout produire.
• Commencez à servir (+ fin de réglage) OSS LLMS avec des points de terminaison de tous les niveaux (jetons de 1 $ / m pour Llama-3-70b ) et des points de terminaison privés disponibles sur demande (essai de jetons gratuits 1M).
• En savoir plus sur la façon dont les entreprises comme Openai, Netflix, Pinterest, Verizon, Instacart et d'autres tirent parti de Ray et de toute échelle pour leurs charges de travail AI au Ray Summit 2024 ce 18 au 20 septembre à San Francisco.