DocSense

Docsense - Comparação e análise de PDF inteligente

Este projeto fornece um aplicativo da Web para comparar documentos em PDF usando diferentes varreduras de similaridade de cosseno e uma interface de chatbot para interagir com os PDFs processados. O aplicativo é criado usando o Streamlit, FASTAPI e LANGCHAIN.

Características

• Comparação em PDF : Compare dois PDFs usando diferentes níveis de varreduras de similaridade de cosseno.
  • Varredura de similaridade de cosseno no nível de documentos
  • Varredura de similaridade de cosseno no nível da frase
  • Varredura pré-processada no nível da sentença
• Chatbot : Interaja com o conteúdo dos PDFs usando um chatbot alimentado pelos modelos Custom LLM (LLAMA 3 e Google Gemini).

Instalação

1. Clone o repositório :

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. Instale os pacotes necessários :

   pip install -r requirements.txt

3. Configurar variáveis ​​de ambiente : Crie um arquivo .env no diretório raiz e adicione suas variáveis ​​de ambiente:

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. Configurar Llama 3 e Ollama : Instalar Llama 3 (8b) e Ollama executando o seguinte comando:

   ollama run llama3

Uso

1. Execute o aplicativo StreamLit :

   streamlit run app.py

2. Navegue até a página inicial :

   • Carregue dois PDFs para comparar.
   • Selecione o tipo de varredura (nível de documento, nível de sentença, nível de sentença pré-processado).
   • Escolha o tipo de incorporação (vetorizador de contagem, vetorizador TF-IDF, Minilm-L6-V2).
   • Clique em "Enviar" para comparar os PDFs e obter a pontuação de similaridade.

3. Navegue até a página do chatbot :

   • Carregue os PDFs no banco de dados vetorial.
   • Interaja com os PDFs usando o chatbot selecionando um modelo LLM e inserindo sua consulta.

Estrutura do projeto

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Agradecimentos

• Simplit
• Meta llama 3
• Ollama
• Chroma Vector DB
• Langchain