DocSense

文檔 - 智能PDF比較和分析

該項目提供了一個Web應用程序，用於使用不同的餘弦相似性掃描和聊天機器人接口比較PDF文檔，以與處理的PDF進行交互。該應用程序是使用Sparlit，fastapi和Langchain構建的。

特徵

• PDF比較：使用不同級別的餘弦相似性掃描比較兩個PDF。
  • 文檔級餘弦相似性掃描
  • 句子級的餘弦相似性掃描
  • 預處理句子級餘弦相似性掃描
• 聊天機器人：使用由自定義LLM型號（Llama 3和Google Gemini）提供動力的聊天機器人與PDF的內容進行交互。

安裝

1. 克隆存儲庫：

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. 安裝所需的軟件包：

   pip install -r requirements.txt

3. 設置環境變量：在根目錄中創建一個.env文件，並添加您的環境變量：

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. 設置Llama 3和Ollama ：通過運行以下命令：安裝Llama 3（8b）和Ollama：

   ollama run llama3

用法

1. 運行簡化應用程序：

   streamlit run app.py

2. 導航到主頁：

   • 上傳兩個PDF進行比較。
   • 選擇掃描類型（文檔級，句子級，預處理句子級）。
   • 選擇嵌入類型（Count vectorizer，TF-IDF vectorizer，All-Minilm-L6-V2）。
   • 單擊“提交”以比較PDF並獲得相似性得分。

3. 導航到聊天機器人頁面：

   • 將PDF加載到矢量數據庫中。
   • 通過選擇LLM模型並輸入查詢，使用聊天機器人與PDF進行交互。

項目結構

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。

致謝

• 簡化
• 元美洲駝3
• 霍拉馬
• 色度矢量數據庫
• Langchain