advanced rag router with amazon bedrockダウンロード - advanced rag router with amazon bedrockダウンロード

advanced rag router with amazon bedrock

その他のソースコード

1.0.0

ダウンロード

Amazon Bedrockで高度なRagルーターベースのアシスタントを構築する

このリポジトリには、参加者がAmazon BedrockおよびAmazon OpenSearch ServerLess（AOSS）を使用して検索拡張生成（RAG）ルーターベースのアーキテクチャを使用する方法を学習できるコードサンプルが含まれており、最新情報を使用してユーザーと会話する安全なアシスタントを迅速に構築します。また、参加者は、このアシスタントがダイアログガイドの情報検索を使用してユーザーに応答する方法を学びます。

概要

Amazon Bedrockは、単一のAPIを介してアクセス可能な大手AI企業から高性能の基礎モデル（FMS）の選択を提供する完全に管理されたサービスと、生成AIアプリケーションを構築するために必要な幅広い機能セットを提供し、プライバシーとセキュリティを維持しながら開発を簡素化します。

大規模な言語モデル（LLMS）は、自然なランゲージを入力として使用できるファンデーションモデルの一種であり、それを処理および理解し、生産として自然言語を生成する能力を備えています。 LLMSは、分類、要約、簡素化、エンティティ認識などのタスクを実行することもできます。

LLMは通常、その時点まで利用可能なデータでオフラインでトレーニングされます。その結果、LLMはその日以降、世界の知識を持たないでしょう。さらに、LLMは非常に一般的なドメインコーパスでトレーニングされているため、ドメイン固有のタスクに対する効果が低下します。そして、LLMSは、モデルが間違った、無意味、または現実ではないテキストを生成する場所で幻覚を起こす傾向があります。検索拡張生成（RAG）メカニズムを使用すると、これらすべての問題を軽減するのに役立ちます。 RAGアーキテクチャでは、外部のデータソースからユーザーのプロンプトのテキストに密接に一致するデータを取得し、LLMに送信する前にプロンプトを拡張するために使用します。このプロンプトの増強は、LLMがプロンプトに応答するために使用できるコンテキストを提供します。

Mulitple DataSourcesがある場合、実際の検索を実行する前に、適切なDataSourceにRetreivalリクエストをルーティングする必要があります。これはぼろきれパターンです。

このリポジトリには、Amazon Bedrockでホストされた大規模な言語モデル（LLM）を使用して、Amazon Bedrockの知識ベースを使用して、セマンティック検索を通じてデータを取得するための知識ベースを使用して、高度なRagルーターベースのアシスタントを構築するプロセスを紹介するコードが含まれています。 Amazon OpenSearch ServerLessは、Vectorインデックスとして使用されます。

始めるために

AWSアカウントを選択して使用し、そのアカウントにすべてのリソースを作成してください。
人類のクロード3とタイタン埋め込みG1-テキストモデルを備えたAmazon岩盤を備えたAWS地域を特定します。
その地域では、新規を作成するか、お好みの既存のAmazon S3バケットを使用してください。このバケツをAWS CloudFormationによって読むことができることを確認してください。
py312_opensearch-py_requests_and_requests-aws4auth.zipという名前のLambdaレイヤーファイルを作成し、次の手順を使用して、ステップ3と同じAmazon S3バケツにアップロードします。
- Windows 10以降：
  1. Python 3.12とPIPがインストールされ、ユーザーのパス変数に設定されていることを確認してください。
  2. 7-zipをダウンロードして、 C:/Program Files/7-Zip/にインストールします。
  3. Windowsコマンドプロンプトを開きます。
  4. 新しいディレクトリとcdを作成します。
  5. そのディレクトリの内側からlambda_layer_file_create.batを実行します。
  6. これにより、 py312_opensearch-py_requests_and_requests-aws4auth.zipという名前のLambdaレイヤーファイルが作成されます。
- Linuxで：
  1. Python 3.12とPIPがインストールされ、ユーザーのパス変数に設定されていることを確認してください。
  2. Linuxコマンドプロンプトを開きます。
  3. 新しいディレクトリとcdを作成します。
  4. そのディレクトリの内側からlambda_layer_file_create.shを実行します。
  5. これにより、 py312_opensearch-py_requests_and_requests-aws4auth.zipという名前のLambdaレイヤーファイルが作成されます。
提供されたAWS CloudFormationテンプレートrag-router-cfn.yamlを取り、次のパラメーターを更新します。
- DeploymentArtifactss3BucketName-これをステップ3のAmazon S3バケツの名前に設定します。
更新されたテンプレートでAWS CloudFormationスタックを作成します。
Amazon Sagemaker Notebook Instancesコンソールに移動し、 Rag- Router-InstanceというインスタンスのオープンJupyterリンクをクリックすることにより、Rag -Router.ipynbという名前のJupyterノートブックを開きます。