质量法与LLM和抹布(检索增强一代)
该项目是一个问题,该项目与大语言模型(LLMS)和Amazon OpenSearch无服务器服务一起回答应用程序。使用抹布的应用程序(检索增强生成)方法从企业知识库或内容中检索与用户请求最相关的信息,将其作为上下文捆绑在一起,并作为提示将其捆绑在一起,然后将其发送给LLM以获取Genai响应。
LLM在输入提示的最大单词计数周围有局限性,因此在企业中选择了数千或数百万个文档中的正确段落,对LLM的准确性有直接影响。
在此项目中,Amazon OpenSearch无服务器服务用于知识库。
总体架构是这样的:
总体工作流程
- 部署CDK堆栈(有关更多信息,请参见此处)。
- 文本生成的sagemaker端点。
- 用于生成嵌入的sagemaker端点。
- Amazon OpenSearch无服务器用于存储嵌入。
- 在Sagemaker Studio中打开Jupyterlab,然后打开一个新的终端。
- 在终端上运行以下命令以克隆此项目的代码存储库:
git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
- Open
data_ingestion_to_opensearch_serverless.ipynb笔记本并运行它。 (有关更多信息,请参见此处) - 运行简化应用程序。 (有关更多信息,请参见此处)
参考
- 使用Amazon Sagemaker,Amazon OpenSearch服务,Sparlit和Langchain构建一个有力的问题,以回答机器人(2023-05-25)
- 使用Amazon Sagemaker Jumpstart在Amazon Sagemaker Studio(2023-06-27)的专有基础模型(2023-06-27)
- 在Amazon Sagemaker Studio(2023-04-11)中构建精简应用程序
- 快速使用Amazon Kendra,Langchain和大型语言模型(2023-05-03)在企业数据上构建高准确的生成AI应用程序(2023-05-03)
- 在亚马逊Sagemaker Jumpstart(2023-05-02)中使用基础模型的检索增强一代(2023-05-02)回答问题
- 解释了Amazon OpenSearch服务的矢量数据库功能
- Langchain-开发由语言模型提供支持的应用程序的框架。
- 简化 - 构建和共享数据应用程序的更快方法
- 在亚马逊OpenSearch服务研讨会中提高与ML的搜索相关性 - 模块7。检索增强发电
- 抹布 - 与阿马森·肯德拉(Amazon-Kendra) - 大语模型(LLM)和亚马逊肯德拉(Amazon Kendra)
- rag-with-with-amazon-postgresql- using-pgvector-用大语言模型(LLMS)和Amazon Aurora PostgreSQL的问答应用程序
- rag-with-amazon-opensearch-用大语言模型(LLMS)和langchain的Amazon OpenSearch服务的问答应用程序
- 带有大语模型(LLMS)和Amazon OpenSearch Service的Rag-with-with-with-with-with-stack and amazon-opensearch-与Haystack的Amazon OpenSearch服务答案
安全
有关更多信息,请参见贡献。
执照
该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。