DocSense

DocSense - Comparación y análisis de PDF inteligente

Este proyecto proporciona una aplicación web para comparar documentos PDF utilizando diferentes escaneos de similitud de coseno y una interfaz de chatbot para interactuar con los PDF procesados. La aplicación se construye usando Streamlit, Fastapi y Langchain.

Características

• Comparación PDF : compare dos PDF utilizando diferentes niveles de escaneos de similitud de coseno.
  • Exploración de similitud de coseno a nivel de documento
  • Exploración de similitud de coseno a nivel de oración
  • Exploración de similitud de coseno de nivel de oración preprocesada
• Chatbot : Interactúa con el contenido de los PDF utilizando un chatbot impulsado por modelos LLM personalizados (Llama 3 y Google Gemini).

Instalación

1. Clon el repositorio :

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. Instale los paquetes requeridos :

   pip install -r requirements.txt

3. Configurar variables de entorno : cree un archivo .env en el directorio raíz y agregue sus variables de entorno:

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. Configurar Llama 3 y Ollama : Install Llama 3 (8B) y Ollama ejecutando el siguiente comando:

   ollama run llama3

Uso

1. Ejecute la aplicación Streamlit :

   streamlit run app.py

2. Navegue a la página de inicio :

   • Sube dos PDF para comparar.
   • Seleccione el tipo de escaneo (nivel de documento, nivel de oración, nivel de oración preprocesado).
   • Elija el tipo de incrustación (Vectorizador de conteo, Vectorizador TF-IDF, All-Minilm-L6-V2).
   • Haga clic en "Enviar" para comparar los PDF y obtener el puntaje de similitud.

3. Navegue a la página de chatbot :

   • Cargue los PDF en la base de datos Vector.
   • Interactúe con los PDF utilizando el chatbot seleccionando un modelo LLM e ingresando su consulta.

Estructura de proyectos

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• Racionalizar
• Metalama 3
• Ollama
• Croma vector db
• Langchain