advanced rag router with amazon bedrock下載 - advanced rag router with amazon bedrock

advanced rag router with amazon bedrock

其他源碼

1.0.0

下載

與亞馬遜基岩建立高級RAG路由器的助手

該存儲庫包含代碼示例，這些代碼將使參與者學習如何使用Amazon Bedrock和Amazon OpenSearch serverless（AOSS）使用基於Amazon Bedrock的基於RAG Router Router的架構（AOSS）來快速構建一個安全的助手，該助手使用最新信息，該助手與用戶交流。參與者還將學習該助手將如何使用對話指導的信息檢索來響應用戶。

概述

亞馬遜Bedrock是一項完全管理的服務，可以從領先的AI公司通過單個API訪問的高性能基礎模型（FMS）以及一套廣泛的功能來構建生成的AI應用程序，從而簡化開發，同時維護隱私和安全性。

大型語言模型（LLMS）是一種基礎模型，可以將自然的Langauge作為輸入，具有處理和理解並理解並產生自然語言作為輸出的能力。 LLM還可以執行分類，摘要，簡化，實體識別等的任務。

LLM通常是離線訓練的，其數據在此時間點之前可用。結果，LLM在該日期之後將不知道世界。此外，LLM在非常通用的領域語料庫中進行了培訓，從而使其對特定領域的任務效果降低。然後，LLM具有幻覺的趨勢，即模型產生不正確，荒謬或不實的文本的趨勢。使用檢索增強發電（RAG）機制可以幫助減輕所有這些問題。抹布架構涉及檢索與用戶提示符，外部數據源中文本密切匹配的數據，並在發送到LLM之前使用它來增強提示。此提示增強將提供LLM可以用來響應提示的上下文。

當有Mulitple數據源時，需要在執行實際檢索之前將Retreival請求路由到適當的數據源。這是一個抹布路由器圖案。

該存儲庫包含代碼，可以通過在亞馬遜基岩上託管的大型語言模型（LLM）來構建基於高級RAG路由器的助手的過程，並使用Amazon Bedrock的知識庫進行矢量化，存儲和通過語義搜索檢索數據。 Amazon OpenSearch無服務器將用作向量索引。

開始

選擇一個用於使用的AWS帳戶，並確保在該帳戶中創建所有資源。
識別一個AWS區域，該區域具有亞馬遜基岩，帶有擬人化的Claude 3和Titan Embeddings G1-文本模型。
在該區域中，創建新的或使用您選擇的現有Amazon S3桶。確保可以通過AWS CloudFormation讀取此存儲桶。
創建名為py312_opensearch-py_requests_and_requests-aws4auth.zip的lambda層文件，使用以下過程與步驟3中的同一Amazon S3存儲桶上傳。
- 在Windows 10或更高版本上：
  1. 確保安裝Python 3.12和PIP並將其設置在用戶路徑變量中。
  2. 下載7-zip並將其安裝在C:/Program Files/7-Zip/ 。
  3. 打開Windows命令提示符。
  4. 在其中創建一個新的目錄和cd 。
  5. 從該目錄的內部運行lambda_layer_file_create.bat。
  6. 這將創建名為py312_opensearch-py_requests_and_requests-aws4auth.zip的lambda層文件。
- 在Linux上：
  1. 確保安裝Python 3.12和PIP並將其設置在用戶路徑變量中。
  2. 打開Linux命令提示符。
  3. 在其中創建一個新的目錄和cd 。
  4. 從該目錄的內部運行lambda_layer_file_create.sh。
  5. 這將創建名為py312_opensearch-py_requests_and_requests-aws4auth.zip的lambda層文件。
以提供的AWS雲形式模板rag-router-cfn.yaml並更新以下參數，
- deploymentArtifactsss3bucketname-將其設置為第3步中的Amazon S3存儲桶的名稱。
使用更新的模板創建AWS CloudFormation堆棧。
通過瀏覽Amazon Sagemaker筆記本實例控制台，然後單擊名為Rag-Router- Insance的實例上的Open Jupyter鏈接，打開名為Rag- router.ipynb的Jupyter筆記本。