langchain palm2 rag_application

DOCCHAT：Langchain检索系统

该简化应用程序实现了基于兰链的检索系统，用于处理PDF文档并使用Langchain的功能进行对话检索。

• 阅读更多：在这里

抹布架构

简化UI

概述

该应用程序允许用户上传PDF文件，提取文本，将其分成块，使用Google Palm嵌入式生成嵌入，并创建一个对话式检索链。然后，用户可以提出与处理后的PDF内容有关的问题，并根据设置的对话链接收回答。

使用的关键技术

• Langchain ：用于自然语言处理任务的库，包括文本分裂和对话检索。
• Google Palm嵌入：用于语义相似性和文本表示的嵌入。
• Faiss（Facebook AI相似性搜索） ：一个有效的库，用于相似性搜索和密集向量的聚类。

项目设置

先决条件

1. Python环境：确保已安装Python 3.x。

2. 环境变量：在项目root目录中创建一个.env文件，其中包括以下内容：google_api_key = your_google_api_key_key_here用实际的Google API键替换your_google_api_key_here 。

安装

1. 克隆存储库：克隆此存储库到您的本地计算机：

git clone https://github.com/Varunv003/langchain-palm2-rag_application

2. 设置虚拟环境：建议使用虚拟环境来管理依赖关系：

python -m venv venv
# On Windows: .venvScriptsactivate
# On macOS/Linux: source venv/bin/activate

3. 安装依赖项：使用PIP安装所需的Python软件包：

pip install -r requirements.txt

4. 模板结构：要设置项目的初始文件夹结构，请运行：

python template.py
# This command will create necessary directories and files based on your project needs.

5. 运行该应用程序运行简化应用程序：

streamlit run app.py
# The application will start, and you can access it in your web browser at http://localhost:8501.

文件结构

• app.py ：用于上传PDF，处理它们并管理用户交互的主要简化应用程序代码。
• 助手。Py ：包含用于PDF文本提取，文本块，Faiss Vector Store创建和对话链设置的辅助功能。
• template.py ：脚本以初始化文件夹结构并为项目创建必要的目录/文件。 .env：用于存储敏感数据（如API键）的环境变量文件。

用法

• 上传PDF文件：使用“上传数据”侧边栏上传一个或多个PDF文件。
• 处理PDF：单击“提交和处理”以提取文本，生成嵌入并设置对话链链。
• 询问问题：输入与文本输入字段中上传的PDF内容有关的问题。
• 视图响应：Langchain会话模型生成的响应将显示在主接口中。
• 日志记录：实施记录以捕获PDF文本提取，文本块，矢量商店创建和对话链设置期间的关键步骤和时间。日志显示在运行应用程序的控制台或终端中。

未来的改进

• 在文件上传和处理过程中增强错误处理和用户反馈。
• 提高处理较大PDF文档的可扩展性和性能优化。
• 整合其他AI模型或完善现有模型以获得更好的对话响应。