質量法與LLM和抹布（檢索增強一代）
該項目是使用PGVECTOR的大型語言模型（LLM）和Amazon Aurora PostgreSQL的問答應用程序。使用抹布的應用程序（檢索增強生成）方法從企業知識庫或內容中檢索與用戶請求最相關的信息，將其作為上下文捆綁在一起，並作為提示將其捆綁在一起，然後將其發送給LLM以獲取Genai響應。
LLM在輸入提示的最大單詞計數周圍有局限性，因此在企業中選擇了數千或數百萬個文檔中的正確段落，對LLM的準確性有直接影響。
在這個項目中，使用PGVECTOR的Amazon Aurora PostgreSQL用於知識庫。
總體架構是這樣的：
總體工作流程
- 部署CDK堆棧（有關更多信息，請參見此處）。
- 私人VPC中的Sagemaker工作室。
- 文本生成的sagemaker端點。
- 用於生成嵌入的sagemaker端點。
- 一個用於存儲嵌入的Amazon Aurora Postgresql群集。
- Aurora Postgresql群集的訪問憑據（用戶名和密碼）存儲在AWS Secrets Mananger中，例如
RAGPgVectorStackAuroraPostg-xxxxxxxxxxxx等名稱。
- 在Sagemaker Studio中打開Jupyterlab，然後打開一個新的終端。
- 在終端上運行以下命令以克隆此項目的代碼存儲庫：
git clone --depth=1 https://github.com/aws-samples/rag-with-amazon-postgresql-using-pgvector.git
- OPEN
data_ingestion_to_pgvector.ipynb筆記本並運行它。 （有關更多信息，請參見此處） - 運行簡化應用程序。 （有關更多信息，請參見此處）
參考
- 利用PGVECTOR和AMAZON AURORA POSTGRESQL進行自然語言處理，聊天機器人和情感分析（2023-07-13）
- 在Amazon Aurora Postgresql兼容版和PostgreSQL的Amazon Aurora Postgresql兼容版和Amazon RDS上加速HNSW索引和搜索（2023-11-06）
- 通過PGVECTOR索引優化生成的AI應用：深入研究IVFFLAT和HNSW技術（2024-03-15）
- 通過優化的讀取和PGVECTOR（2024-02-09）在Amazon Aurora上提高生成AI工作負載的性能（2024-02-09）
- 使用Amazon SageMaker和PGVECTOR（2023-05-03）在PostgreSQL中構建AI驅動的搜索（2023-05-03）
- 在Amazon Sagemaker Studio（2023-04-11）中構建精簡應用程序
- 快速使用Amazon Kendra，Langchain和大型語言模型（2023-05-03）在企業數據上構建高準確的生成AI應用程序（2023-05-03）
- 在亞馬遜Sagemaker Jumpstart（2023-05-02）中使用基礎模型的檢索增強一代（2023-05-02）回答問題
- 使用Amazon Sagemaker Jumpstart在Amazon Sagemaker Studio（2023-06-27）的專有基礎模型（2023-06-27）
- Langchain-開發由語言模型提供支持的應用程序的框架。
- 簡化 - 構建和共享數據應用程序的更快方法
- 抹布 - 與阿馬森 - 肯德拉和宣傳製造商 - 大型語言模型（LLM）和亞馬遜肯德拉的問答申請
- rag-with-amazon-opensearch and-agemaker-大型語言模型（LLMS）和亞馬遜OpenSearch服務的問答應用程序
- rag-with-amazon-opensearch-serversverless-與大型語言模型（LLMS）和Amazon OpenSearch無服務器服務的問答應用程序
- PGVECTOR CHAMPELOG-V0.4.0（2023-01-11）
從1024到16000增加了向量的最大尺寸
提高指數從1024到2000
安全
有關更多信息，請參見貢獻。
執照
該圖書館已獲得MIT-0許可證的許可。請參閱許可證文件。
