DocSense

Docsense - Comparaison et analyse SMART PDF

Ce projet fournit une application Web pour comparer des documents PDF à l'aide de différentes analyses de similitude en cosinus et une interface chatbot pour interagir avec les PDF traités. L'application est construite à l'aide de Streamlit, Fastapi et Langchain.

Caractéristiques

• Comparaison du PDF : comparez deux PDF en utilisant différents niveaux de analyses de similitude en cosinus.
  • Numéris de similitude du cosinus au niveau du document
  • Scan de similitude en cosinus au niveau de la phrase
  • Analyse de similitude en cosinus au niveau de la phrase prétraitée
• Chatbot : Interagissez avec le contenu des PDF à l'aide d'un chatbot alimenté par des modèles LLM personnalisés (LLAMA 3 et Google Gemini).

Installation

1. Clone le référentiel :

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. Installez les packages requis :

   pip install -r requirements.txt

3. Configurer des variables d'environnement : créez un fichier .env dans le répertoire racine et ajoutez vos variables d'environnement:

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. Configurez Llama 3 et Ollama : Installer Llama 3 (8b) et Olllama en exécutant la commande suivante:

   ollama run llama3

Usage

1. Exécutez l'application Streamlit :

   streamlit run app.py

2. Accédez à la page d'accueil :

   • Téléchargez deux PDF à comparer.
   • Sélectionnez le type de numérisation (niveau de document, au niveau de la phrase, au niveau de la phrase prétraité).
   • Choisissez le type d'incorporation (comptage vectorzer, vectriseur TF-IDF, All-MinilM-L6-V2).
   • Cliquez sur "Soumettre" pour comparer les PDF et obtenir le score de similitude.

3. Accédez à la page du chatbot :

   • Chargez les PDF dans la base de données vectorielle.
   • Interagissez avec les PDF à l'aide du chatbot en sélectionnant un modèle LLM et en entrant votre requête.

Structure du projet

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.

Remerciements

• Rationaliser
• Meta Llama 3
• Ollla
• Vecteur de chroma DB
• Lubriole