langchain palm2 rag_application

DOCCHAT：Langchain檢索系統

該簡化應用程序實現了基於蘭鏈的檢索系統，用於處理PDF文檔並使用Langchain的功能進行對話檢索。

• 閱讀更多：在這裡

抹布架構

簡化UI

概述

該應用程序允許用戶上傳PDF文件，提取文本，將其分成塊，使用Google Palm嵌入式生成嵌入，並創建一個對話式檢索鏈。然後，用戶可以提出與處理後的PDF內容有關的問題，並根據設置的對話鏈接收回答。

使用的關鍵技術

• Langchain ：用於自然語言處理任務的庫，包括文本分裂和對話檢索。
• Google Palm嵌入：用於語義相似性和文本表示的嵌入。
• Faiss（Facebook AI相似性搜索） ：一個有效的庫，用於相似性搜索和密集向量的聚類。

項目設置

先決條件

1. Python環境：確保已安裝Python 3.x。

2. 環境變量：在項目root目錄中創建一個.env文件，其中包括以下內容：google_api_key = your_google_api_key_key_here用實際的Google API鍵替換your_google_api_key_here 。

安裝

1. 克隆存儲庫：克隆此存儲庫到您的本地計算機：

git clone https://github.com/Varunv003/langchain-palm2-rag_application

2. 設置虛擬環境：建議使用虛擬環境來管理依賴關係：

python -m venv venv
# On Windows: .venvScriptsactivate
# On macOS/Linux: source venv/bin/activate

3. 安裝依賴項：使用PIP安裝所需的Python軟件包：

pip install -r requirements.txt

4. 模板結構：要設置項目的初始文件夾結構，請運行：

python template.py
# This command will create necessary directories and files based on your project needs.

5. 運行該應用程序運行簡化應用程序：

streamlit run app.py
# The application will start, and you can access it in your web browser at http://localhost:8501.

文件結構

• app.py ：用於上傳PDF，處理它們並管理用戶交互的主要簡化應用程序代碼。
• 助手。 Py ：包含用於PDF文本提取，文本塊，Faiss Vector Store創建和對話鏈設置的輔助功能。
• template.py ：腳本以初始化文件夾結構並為項目創建必要的目錄/文件。 .env：用於存儲敏感數據（如API鍵）的環境變量文件。

用法

• 上傳PDF文件：使用“上傳數據”側邊欄上傳一個或多個PDF文件。
• 處理PDF：單擊“提交和處理”以提取文本，生成嵌入並設置對話鍊鍊。
• 詢問問題：輸入與文本輸入字段中上傳的PDF內容有關的問題。
• 視圖響應：Langchain會話模型生成的響應將顯示在主接口中。
• 日誌記錄：實施記錄以捕獲PDF文本提取，文本塊，矢量商店創建和對話鏈設置期間的關鍵步驟和時間。日誌顯示在運行應用程序的控制台或終端中。

未來的改進

• 在文件上傳和處理過程中增強錯誤處理和用戶反饋。
• 提高處理較大PDF文檔的可擴展性和性能優化。
• 整合其他AI模型或完善現有模型以獲得更好的對話響應。