质量法与LLM和抹布（检索增强一代）
该项目是使用PGVECTOR的大型语言模型（LLM）和Amazon Aurora PostgreSQL的问答应用程序。使用抹布的应用程序（检索增强生成）方法从企业知识库或内容中检索与用户请求最相关的信息，将其作为上下文捆绑在一起，并作为提示将其捆绑在一起，然后将其发送给LLM以获取Genai响应。
LLM在输入提示的最大单词计数周围有局限性，因此在企业中选择了数千或数百万个文档中的正确段落，对LLM的准确性有直接影响。
在这个项目中，使用PGVECTOR的Amazon Aurora PostgreSQL用于知识库。
总体架构是这样的：
总体工作流程
- 部署CDK堆栈（有关更多信息，请参见此处）。
- 私人VPC中的Sagemaker工作室。
- 文本生成的sagemaker端点。
- 用于生成嵌入的sagemaker端点。
- 一个用于存储嵌入的Amazon Aurora Postgresql群集。
- Aurora Postgresql群集的访问凭据（用户名和密码）存储在AWS Secrets Mananger中，例如
RAGPgVectorStackAuroraPostg-xxxxxxxxxxxx等名称。
- 在Sagemaker Studio中打开Jupyterlab，然后打开一个新的终端。
- 在终端上运行以下命令以克隆此项目的代码存储库：
git clone --depth=1 https://github.com/aws-samples/rag-with-amazon-postgresql-using-pgvector.git
- OPEN
data_ingestion_to_pgvector.ipynb笔记本并运行它。 （有关更多信息，请参见此处） - 运行简化应用程序。 （有关更多信息，请参见此处）
参考
- 利用PGVECTOR和AMAZON AURORA POSTGRESQL进行自然语言处理，聊天机器人和情感分析（2023-07-13）
- 在Amazon Aurora Postgresql兼容版和PostgreSQL的Amazon Aurora Postgresql兼容版和Amazon RDS上加速HNSW索引和搜索（2023-11-06）
- 通过PGVECTOR索引优化生成的AI应用：深入研究IVFFLAT和HNSW技术（2024-03-15）
- 通过优化的读取和PGVECTOR（2024-02-09）在Amazon Aurora上提高生成AI工作负载的性能（2024-02-09）
- 使用Amazon SageMaker和PGVECTOR（2023-05-03）在PostgreSQL中构建AI驱动的搜索（2023-05-03）
- 在Amazon Sagemaker Studio（2023-04-11）中构建精简应用程序
- 快速使用Amazon Kendra，Langchain和大型语言模型（2023-05-03）在企业数据上构建高准确的生成AI应用程序（2023-05-03）
- 在亚马逊Sagemaker Jumpstart（2023-05-02）中使用基础模型的检索增强一代（2023-05-02）回答问题
- 使用Amazon Sagemaker Jumpstart在Amazon Sagemaker Studio（2023-06-27）的专有基础模型（2023-06-27）
- Langchain-开发由语言模型提供支持的应用程序的框架。
- 简化 - 构建和共享数据应用程序的更快方法
- 抹布 - 与阿马森 - 肯德拉和宣传制造商 - 大型语言模型（LLM）和亚马逊肯德拉的问答申请
- rag-with-amazon-opensearch and-agemaker-大型语言模型（LLMS）和亚马逊OpenSearch服务的问答应用程序
- rag-with-amazon-opensearch-serversverless-与大型语言模型（LLMS）和Amazon OpenSearch无服务器服务的问答应用程序
- PGVECTOR CHAMPELOG-V0.4.0（2023-01-11）
从1024到16000增加了向量的最大尺寸
提高指数从1024到2000
安全
有关更多信息，请参见贡献。
执照
该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。
