DocSense

文档 - 智能PDF比较和分析

该项目提供了一个Web应用程序，用于使用不同的余弦相似性扫描和聊天机器人接口比较PDF文档，以与处理的PDF进行交互。该应用程序是使用Sparlit，fastapi和Langchain构建的。

特征

• PDF比较：使用不同级别的余弦相似性扫描比较两个PDF。
  • 文档级余弦相似性扫描
  • 句子级的余弦相似性扫描
  • 预处理句子级余弦相似性扫描
• 聊天机器人：使用由自定义LLM型号（Llama 3和Google Gemini）提供动力的聊天机器人与PDF的内容进行交互。

安装

1. 克隆存储库：

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. 安装所需的软件包：

   pip install -r requirements.txt

3. 设置环境变量：在根目录中创建一个.env文件，并添加您的环境变量：

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. 设置Llama 3和Ollama ：通过运行以下命令：安装Llama 3（8b）和Ollama：

   ollama run llama3

用法

1. 运行简化应用程序：

   streamlit run app.py

2. 导航到主页：

   • 上传两个PDF进行比较。
   • 选择扫描类型（文档级，句子级，预处理句子级）。
   • 选择嵌入类型（Count vectorizer，TF-IDF vectorizer，All-Minilm-L6-V2）。
   • 单击“提交”以比较PDF并获得相似性得分。

3. 导航到聊天机器人页面：

   • 将PDF加载到矢量数据库中。
   • 通过选择LLM模型并输入查询，使用聊天机器人与PDF进行交互。

项目结构

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。

致谢

• 简化
• 元美洲驼3
• 霍拉马
• 色度矢量数据库
• Langchain