質量法與LLM和抹布(檢索增強一代)
該項目是一個問題,該項目與大語言模型(LLMS)和Amazon OpenSearch無服務器服務一起回答應用程序。使用抹布的應用程序(檢索增強生成)方法從企業知識庫或內容中檢索與用戶請求最相關的信息,將其作為上下文捆綁在一起,並作為提示將其捆綁在一起,然後將其發送給LLM以獲取Genai響應。
LLM在輸入提示的最大單詞計數周圍有局限性,因此在企業中選擇了數千或數百萬個文檔中的正確段落,對LLM的準確性有直接影響。
在此項目中,Amazon OpenSearch無服務器服務用於知識庫。
總體架構是這樣的:
總體工作流程
- 部署CDK堆棧(有關更多信息,請參見此處)。
- 文本生成的sagemaker端點。
- 用於生成嵌入的sagemaker端點。
- Amazon OpenSearch無服務器用於存儲嵌入。
- 在Sagemaker Studio中打開Jupyterlab,然後打開一個新的終端。
- 在終端上運行以下命令以克隆此項目的代碼存儲庫:
git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
- Open
data_ingestion_to_opensearch_serverless.ipynb筆記本並運行它。 (有關更多信息,請參見此處) - 運行簡化應用程序。 (有關更多信息,請參見此處)
參考
- 使用Amazon Sagemaker,Amazon OpenSearch服務,Sparlit和Langchain構建一個有力的問題,以回答機器人(2023-05-25)
- 使用Amazon Sagemaker Jumpstart在Amazon Sagemaker Studio(2023-06-27)的專有基礎模型(2023-06-27)
- 在Amazon Sagemaker Studio(2023-04-11)中構建精簡應用程序
- 快速使用Amazon Kendra,Langchain和大型語言模型(2023-05-03)在企業數據上構建高準確的生成AI應用程序(2023-05-03)
- 在亞馬遜Sagemaker Jumpstart(2023-05-02)中使用基礎模型的檢索增強一代(2023-05-02)回答問題
- 解釋了Amazon OpenSearch服務的矢量數據庫功能
- Langchain-開發由語言模型提供支持的應用程序的框架。
- 簡化 - 構建和共享數據應用程序的更快方法
- 在亞馬遜OpenSearch服務研討會中提高與ML的搜索相關性 - 模塊7。檢索增強發電
- 抹布 - 與阿馬森·肯德拉(Amazon-Kendra) - 大語模型(LLM)和亞馬遜肯德拉(Amazon Kendra)
- rag-with-with-amazon-postgresql- using-pgvector-用大語言模型(LLMS)和Amazon Aurora PostgreSQL的問答應用程序
- rag-with-amazon-opensearch-用大語言模型(LLMS)和langchain的Amazon OpenSearch服務的問答應用程序
- 帶有大語模型(LLMS)和Amazon OpenSearch Service的Rag-with-with-with-with-with-stack and amazon-opensearch-與Haystack的Amazon OpenSearch服務答案
安全
有關更多信息,請參見貢獻。
執照
該圖書館已獲得MIT-0許可證的許可。請參閱許可證文件。