llm applications

Aplicaciones LLM

Una guía completa para la construcción de aplicaciones LLM a base de Rag para la producción.

• Publicación del blog : https://www.anyscale.com/blog/a-comprehensive-guide-for-building-rag basado-llm-applications-part-1
• Repositorio de Github : https://github.com/ray-project/llm-applications
• Cuaderno interactivo : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• Anyscale Endpoints : https://endpoints.anyscale.com/
• Documentación de Ray : https://docs.ray.io/

En esta guía, aprenderemos cómo:

• Desarrolle una aplicación LLM basada en la generación aumentada de recuperación (RAG) desde cero.
• Escala los componentes principales (carga, fragmentación, incrustación, índice, servicio, etc.) en nuestra aplicación.
• ✅ Evalúe las diferentes configuraciones de nuestra aplicación para optimizar tanto por componente (por ejemplo.
• ? Implementar el enfoque de enrutamiento híbrido LLM para unir el GAP B/W OSS y las LLM cerradas.
• ? Servir la aplicación de manera altamente escalable y disponible.
• ? Comparta el primer pedido y los impactos de 2º pedido que las aplicaciones LLM han tenido en nuestros productos.

Configuración

Llaves de API

Usaremos OpenAI para acceder a modelos ChatGPT como gpt-3.5-turbo , gpt-4 , etc. y los puntos finales de cualquier escala para acceder a OSS LLM como Llama-2-70b . Asegúrese de crear sus cuentas para ambas y tener sus credenciales listas.

Calcular

Local

Puede ejecutar esto en su computadora portátil local, pero se recomendamos que use una configuración con acceso a GPU. Puede configurar esto por su cuenta o en [AnyScale] (http://anyscale.com/).

Escala

• Comience un nuevo espacio de trabajo de cualquier escala sobre la puesta en escena utilizando un nodo Head g3.8xlarge , que tiene 2 GPU y 32 CPU. También podemos agregar nodos de trabajadores de GPU para ejecutar las cargas de trabajo más rápido. Si no está en AnyScale, puede configurar una instancia similar en su nube.
• Use el entorno de clúster default_cluster_env_2.6.2_py39 .
• Use el us-west-2 si desea usar los artefactos en nuestro almacenamiento compartido (documentos de origen, vertederos de DB vectorial, etc.).

Repositorio

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

Datos

Nuestros datos ya están listos en /efs/shared_storage/goku/docs.ray.io/en/master/ (en staging, us-east-1 ) Pero si desea cargarlo usted mismo, ejecute este comando bash (cambio /desired/output/directory , pero asegúrese de que esté en el almacenamiento compartido, de modo que sea accesible para los trabajadores)

git clone https://github.com/ray-project/llm-applications.git .

Ambiente

Luego configure el entorno correctamente especificando los valores en su archivo .env e instalando las dependencias:

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

Cartas credenciales

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

¡Ahora estamos listos para pasar por el cuaderno interactivo Rag.ipynb para desarrollar y servir nuestra aplicación LLM!

Obtenga más información

• Si su equipo está invirtiendo fuertemente en el desarrollo de aplicaciones LLM, comuníquese con nosotros para obtener más información sobre cómo Ray y AnyScale pueden ayudarlo a escalar y producir todo.
• Comience a servir (+ajuste) OSS LLMS con puntos finales de cualquier escala (tokens de $ 1/m para Llama-3-70b ) y puntos finales privados disponibles a pedido (prueba de tokens gratis de 1 m).
• Obtenga más información sobre cómo compañías como OpenAi, Netflix, Pinterest, Verizon, Instacart y otros aprovechan a Ray y cualquier escala para sus cargas de trabajo de IA en la Cumbre de Ray 2024 este 18-20 de septiembre en San Francisco.