llm applications

LLM應用程序

構建基於抹布的LLM生產應用程序的綜合指南。

• 博客文章：https：//www.anyscale.com/blog/a-comprehmiss-guide-for-building-rag-lag-lag-lag-llm-applications-part-1
• github存儲庫：https：//github.com/ray-project/llm-applications
• 互動筆記本：https：//github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• AnyScale端點：https：//endpoints.anyscale.com/
• 射線文檔：https：//docs.ray.io/

在本指南中，我們將學習如何：

• 從頭開始開發基於檢索的增強生成（RAG）的LLM應用程序。
• 在我們的應用中擴展主要組件（負載，塊，嵌入，索引，服務等）。
• ✅評估我們應用程序的不同配置，以優化每個組件（Ex。retrieval_score）和整體性能（Quality_score）。
• ？實施LLM混合路由方法，以彌合差距B/W OSS和封閉的LLM。
• ？以高度可擴展的方式服務應用程序。
• ？共享一階和第二階影響LLM應用程序對我們的產品的影響。

設定

API鍵

我們將使用OpenAI訪問諸如gpt-3.5-turbo ， gpt-4等的CHATGPT型號，以及任何Scale Endpoints，訪問Llama-2-70b等OSS LLM。確保為兩者創建您的帳戶並準備好您的憑據。

計算

當地的

您可以在本地筆記本電腦上運行此操作，但是我們強烈建議使用訪問GPU的設置。您可以自己或[anyscale]（http://anyscale.com/）進行設置。

任何規模

• 使用g3.8xlarge頭節點進行分期啟動新的AnyScale工作區，該節點具有2個GPU和32個CPU。我們還可以添加GPU工人節點以更快地運行工作負載。如果您不在任何規模上，則可以在雲上配置類似實例。
• 使用default_cluster_env_2.6.2_py39群集環境。
• 如果您想在我們的共享存儲中使用工件（源文檔，矢量數據庫垃圾場等），請使用us-west-2 。

存儲庫

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

數據

我們的數據已經準備就緒，請訪問/efs/shared_storage/goku/docs.ray.io/en/master/ （在登台上， us-east-1 ），但是如果您想自己加載它，請運行此bash命令（更改/desired/output/directory ，但是請確保它在共享存儲上，以便它可以訪問工人的工人）

git clone https://github.com/ray-project/llm-applications.git .

環境

然後通過指定.env文件中的值並安裝依賴項來正確設置環境：

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

證書

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

現在，我們已經準備好通過rag.ipynb互動筆記本來開發和服務我們的LLM應用程序！

了解更多

• 如果您的團隊在開發LLM應用程序方面進行大量投資，請與我們聯繫以了解Ray和Enyscale如何幫助您擴展和生產所有內容的更多信息。
• 根據Llama-3-70b開始使用EnyScale Endpoint（$ 1/m令牌）和可應要求提供的私人端點（1M免費令牌試用），開始使用（+微調）oss llms。
• 了解更多有關OpenAI，Netflix，Pinterest，Verizon，Instacart等公司如何在9月18日至20日在舊金山舉行的Ray Summit 2024上利用Ray和Anyscale進行AI工作負載。