rag with amazon opensearch and sagemaker

質量法與LLM和抹布（檢索增強一代）

該項目是一個具有大語言模型（LLM）和Amazon OpenSearch服務的問答應用程序。使用抹布的應用程序（檢索增強生成）方法從企業知識庫或內容中檢索與用戶請求最相關的信息，將其作為上下文捆綁在一起，並作為提示將其捆綁在一起，然後將其發送給LLM以獲取Genai響應。

LLM在輸入提示的最大單詞計數周圍有局限性，因此在企業中選擇了數千或數百萬個文檔中的正確段落，對LLM的準確性有直接影響。

在此項目中，Amazon OpenSearch服務用於知識庫。

總體架構是這樣的：

總體工作流程

1. 部署CDK堆棧（有關更多信息，請參見此處）。
   • 文本生成的sagemaker端點。
   • 用於生成嵌入的sagemaker端點。
   • 一個用於存儲嵌入的Amazon OpenSearch集群。
   • OpenSearch集群的訪問憑據（用戶名和密碼）存儲在AWS Secrets Mananger中，例如OpenSearchMasterUserSecret1-xxxxxxxxxxxx ，例如OpenSearchMasterUseSecretsecrets。
2. 打開Sagemaker Studio，然後打開一個新的終端。
3. 在終端上運行以下命令以克隆此項目的代碼存儲庫：

    git clone --depth=1 https://github.com/ksmin23/rag-with-amazon-opensearch-and-sagemaker.git
   

4. 打開data_ingestion_to_opensearch筆記本並運行它。 （有關更多信息，請參見此處）
5. 運行簡化應用程序。 （有關更多信息，請參見此處）

參考

• 使用Amazon Sagemaker，Amazon OpenSearch服務，Sparlit和Langchain構建一個有力的問題，以回答機器人（2023-05-25）
• 使用Amazon Sagemaker Jumpstart在Amazon Sagemaker Studio（2023-06-27）的專有基礎模型（2023-06-27）
• 在Amazon Sagemaker Studio（2023-04-11）中構建精簡應用程序
• 快速使用Amazon Kendra，Langchain和大型語言模型（2023-05-03）在企業數據上構建高準確的生成AI應用程序（2023-05-03）
  • （github）亞馬遜肯德拉退步樣品
• 在亞馬遜Sagemaker Jumpstart（2023-05-02）中使用基礎模型的檢索增強一代（2023-05-02）回答問題
• 解釋了Amazon OpenSearch服務的矢量數據庫功能
• Langchain-開發由語言模型提供支持的應用程序的框架。
• 簡化 - 構建和共享數據應用程序的更快方法
• 在亞馬遜OpenSearch服務研討會中提高與ML的搜索相關性 - 模塊7。檢索增強發電
• 抹布 - 與阿馬森·肯德拉（Amazon-Kendra） - 大語模型（LLM）和亞馬遜肯德拉（Amazon Kendra）
• rag-with-with-postgresql-pgvector-用大語言模型（LLMS）和Amazon Aurora Postgresql的問題答案應用程序