llm applications

LLMアプリケーション

RAGベースのLLMアプリケーションを構築するための包括的なガイド。

• ブログ投稿：https：//www.anyscale.com/blog/a-compherensive-guide-for-building-rag-llm-applications-part-1
• githubリポジトリ：https：//github.com/ray-project/llm-applications
• インタラクティブノートブック：https：//github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
• 任意のスケールエンドポイント：https：//endpoints.anyscale.com/
• レイのドキュメント：https：//docs.ray.io/

このガイドでは、次の方法を学びます。

• 検索拡張生成（RAG）ベースのLLMアプリケーションをゼロから開発します。
• アプリケーションで主要なコンポーネント（負荷、チャンク、埋め込み、インデックス、サーブなど）をスケーリングします。
• componpontedコンポーネントごと（Ex。Retrieval_Score）と全体的なパフォーマンス（Quality_Score）の両方に最適化するために、アプリケーションのさまざまな構成を評価します。
• ？ LLMハイブリッドルーティングアプローチを実装して、ギャップb/w ossと閉じたLLMを埋めます。
• ？高度にスケーラブルで利用可能な方法でアプリケーションを提供します。
• ？ LLMアプリケーションが当社の製品に与えた最初の注文と2番目の注文の影響を共有します。

設定

APIキー

OpenAIを使用して、 gpt-3.5-turbo 、 gpt-4などのChatGPTモデルや、 Llama-2-70bのようなOSS LLMにアクセスするスケールエンドポイントにアクセスします。両方に対してアカウントを作成し、資格情報を準備してください。

計算します

地元

これをローカルラップトップで実行できますが、GPUにアクセスできるセットアップを使用することを強くお勧めします。これを独自または[任意のスケール]（http://anyscale.com/）で設定できます。

任意のスケール

• g3.8xlargeヘッドノードを使用して、2つのGPUと32のCPUを備えたG3.8XLARGEヘッドノードを使用して、ステージングで新しい任意のスケールワークスペースを開始します。また、GPUワーカーノードを追加して、ワークロードをより速く実行することもできます。スケールにいない場合は、クラウドで同様のインスタンスを構成できます。
• default_cluster_env_2.6.2_py39クラスター環境を使用します。
• 共有ストレージでアーティファクトを使用する場合はus-west-2を使用します（ソースドキュメント、ベクターDBダンプなど）。

リポジトリ

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

データ

私たちのデータは既に/efs/shared_storage/goku/docs.ray.io/en/master/ （ステージング、 us-east-1 ）で準備ができていますが、自分でロードしたい場合は、このbashコマンド（変更/desired/output/directoryを実行しますが、共有ストレージにあることを確認してください。

git clone https://github.com/ray-project/llm-applications.git .

環境

次に、 .envファイルの値を指定し、依存関係をインストールすることにより、環境を正しくセットアップします。

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

資格

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

これで、rag.ipynbインタラクティブノートブックを調べて、LLMアプリケーションを開発および提供する準備ができました！

もっと詳しく知る

• チームがLLMアプリケーションの開発に多額の投資を行っている場合は、RayやAnyscaleがすべてのスケーリングと生産にどのように役立つかについて詳しく知るために、私たちに連絡してください。
• 任意のスケールのエンドポイント（ Llama-3-70bの$ 1/mトークン）とリクエストに応じて利用可能なプライベートエンドポイント（1mフリートークントライアル）を備えたOSS LLMS（+微調整）を開始します。
• San Franciscoでの9月18〜20日にRay Summit 2024でAIワークロードのために、Openai、Netflix、Pinterest、Verizon、Instacartなどの企業がAIワークロードのためにRayとAnyのワークロードをどのように活用するかをご覧ください。