llm applications

LLM应用程序

构建基于抹布的LLM生产应用程序的综合指南。

• 博客文章：https：//www.anyscale.com/blog/a-comprehmiss-guide-for-building-rag-lag-lag-lag-llm-applications-part-1
• github存储库：https：//github.com/ray-project/llm-applications
• 互动笔记本：https：//github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• AnyScale端点：https：//endpoints.anyscale.com/
• 射线文档：https：//docs.ray.io/

在本指南中，我们将学习如何：

• 从头开始开发基于检索的增强生成（RAG）的LLM应用程序。
• 在我们的应用中扩展主要组件（负载，块，嵌入，索引，服务等）。
• ✅评估我们应用程序的不同配置，以优化每个组件（Ex。retrieval_score）和整体性能（Quality_score）。
• ？实施LLM混合路由方法，以弥合差距B/W OSS和封闭的LLM。
• ？以高度可扩展的方式服务应用程序。
• ？共享一阶和第二阶影响LLM应用程序对我们的产品的影响。

设置

API键

我们将使用OpenAI访问诸如gpt-3.5-turbo ， gpt-4等的CHATGPT型号，以及任何Scale Endpoints，访问Llama-2-70b等OSS LLM。确保为两者创建您的帐户并准备好您的凭据。

计算

当地的

您可以在本地笔记本电脑上运行此操作，但是我们强烈建议使用访问GPU的设置。您可以自己或[anyscale]（http://anyscale.com/）进行设置。

任何规模

• 使用g3.8xlarge头节点进行分期启动新的AnyScale工作区，该节点具有2个GPU和32个CPU。我们还可以添加GPU工人节点以更快地运行工作负载。如果您不在任何规模上，则可以在云上配置类似实例。
• 使用default_cluster_env_2.6.2_py39群集环境。
• 如果您想在我们的共享存储中使用工件（源文档，矢量数据库垃圾场等），请使用us-west-2 。

存储库

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

数据

我们的数据已经准备就绪，请访问/efs/shared_storage/goku/docs.ray.io/en/master/ （在登台上， us-east-1 ），但是如果您想自己加载它，请运行此bash命令（更改/desired/output/directory ，但是请确保它在共享存储上，以便它可以访问工人的工人）

git clone https://github.com/ray-project/llm-applications.git .

环境

然后通过指定.env文件中的值并安装依赖项来正确设置环境：

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

证书

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

现在，我们已经准备好通过rag.ipynb互动笔记本来开发和服务我们的LLM应用程序！

了解更多

• 如果您的团队在开发LLM应用程序方面进行大量投资，请与我们联系以了解Ray和Enyscale如何帮助您扩展和生产所有内容的更多信息。
• 根据Llama-3-70b开始使用EnyScale Endpoint（$ 1/m令牌）和可应要求提供的私人端点（1M免费令牌试用），开始使用（+微调）oss llms。
• 了解更多有关OpenAI，Netflix，Pinterest，Verizon，Instacart等公司如何在9月18日至20日在旧金山举行的Ray Summit 2024上利用Ray和Anyscale进行AI工作负载。