medicalrag

---

醫學抹布（檢索增強的生成）知識庫

該項目將使用Next.js ， Langchain和Pinecone作為矢量數據庫建立醫學檢索效果的一代（RAG）知識庫。該系統處理醫療文檔（例如PDF文件），並將其嵌入在矢量數據庫中，從而使有效的相似性搜索能夠以響應用戶查詢來檢索相關信息。

目錄

• 概述
• 特徵
• 技術
• 設置和安裝
• 配置
• 用法
• 項目結構
• 故障排除

概述

該應用程序提供了一個用戶友好的接口，用於上傳醫療文檔，例如PDF，將其轉換為塊，並將其嵌入在矢量數據庫（Pinecone）中。該系統使用Langchain來塊文檔和擁抱Face的嵌入模型來生成嵌入。可以有效地搜索這些嵌入，以從醫學知識庫中檢索相關信息。

特徵

• 上傳和處理醫療文檔（PDF，文本文件）。
• 塊大量文檔並使用基於ONNX的模型生成向量嵌入。
• 存儲在Pinecone中的文檔嵌入，以進行有效的相似性搜索。
• 跟踪嵌入過程的進度條。
• 易於擴展，包括更多的醫療文件並增強知識庫。

技術

• Next.js ：用於構建前端和API路線。
• Langchain ：用於文檔塊和嵌入。
• Pinecone ：用於存儲文檔嵌入的矢量數據庫。
• 擁抱面變壓器：使用預訓練的模型生成嵌入。
• 打字稿：用於類型安全。
• SHADCN UI ：用於構建UI組件。

設置和安裝

1。克隆存儲庫

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2。安裝依賴項

確保您安裝了node.js（版本18或更高版本）。然後安裝所需的軟件包：

npm install

3。環境變量

在項目的根部創建.env文件，並添加以下環境變量：

PINECONE_API_KEY=your_pinecone_api_key

您可以通過在Pinecone上註冊來獲得Pinecone API鍵。

4。設置松果

• 登錄到Pinecone並創建一個索引。
• 使用1024作為嵌入的維度，而餘弦相似性與度量標準。

5。運行應用程序

設置後，運行開發服務器：

npm run dev

您的應用程序現在將在http://localhost:3000上運行。

配置

以下配置對於應用程序至關重要：

• Pinecone索引名稱：存儲文檔嵌入的索引名稱。
• 名稱空間：您可以在單獨的名稱空間下將不同的文檔集存儲在Pinecone中。

您可以在上傳文件之前在UI中指定它們。

用法

1。上傳文檔

• 在http://localhost:3000打開應用程序。
• 從您的本地系統中選擇PDF或文本文件。
• 指定用於存儲嵌入的索引名稱和名稱空間。
• 單擊上傳按鈕開始嵌入過程。

進度條將跟踪該過程，並將嵌入將被推到Pinecone數據庫。

2。查看存儲的向量

處理和存儲嵌入後，您可以在Pinecone儀表板中查看它們。

3。搜索嵌入（未來功能）

您可以通過構建搜索接口來查詢存儲的嵌入並檢索相關信息來擴展應用程序。

項目結構

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

故障排除

1。提取錯誤

如果遇到錯誤：

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

確保您正在運行Node.js版本18+ ，該版本提供了一個全局的fetch函數。您可以使用以下方式更新node.js

nvm install 18
nvm use 18

2。缺少API鍵

如果向量沒有被推到Pinecone，請確保在.env文件中正確配置您的API鍵。

3。大型文件處理

對於大型PDF文檔，嵌入過程可能需要時間。讓它運行，直到進度欄顯示完成。

---