DocSense

Docsense- 스마트 PDF 비교 및 ​​분석

이 프로젝트는 처리 된 PDF와 상호 작용하기 위해 다른 코사인 유사성 스캔과 챗봇 인터페이스를 사용하여 PDF 문서를 비교하기위한 웹 응용 프로그램을 제공합니다. 응용 프로그램은 Streamlit, Fastapi 및 Langchain을 사용하여 구축됩니다.

특징

• PDF 비교 : 다른 수준의 코사인 유사성 스캔을 사용하여 두 PDF를 비교하십시오.
  • 문서 수준의 코사인 유사성 스캔
  • 문장 수준 코사인 유사성 스캔
  • 전처리 된 문장 수준 코사인 유사성 스캔
• 챗봇 : Custom LLM 모델 (LLAMA 3 및 Google Gemini)으로 구동되는 챗봇을 사용하여 PDFS 컨텐츠와 상호 작용하십시오.

설치

1. 저장소 복제 :

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. 필요한 패키지 설치 :

   pip install -r requirements.txt

3. 환경 변수 설정 : 루트 디렉토리에서 .env 파일을 만들고 환경 변수를 추가하십시오.

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. Llama 3과 Ollama : 다음 명령을 실행하여 Llama 3 (8b) 및 Ollama를 설치하십시오.

   ollama run llama3

용법

1. 간단한 앱 실행 :

   streamlit run app.py

2. 홈페이지로 이동 :

   • 비교하려면 2 개의 PDF를 업로드하십시오.
   • 스캔 유형 (문서 수준, 문장 수준, 전처리 문장 수준)을 선택하십시오.
   • 임베딩 유형 (Count Vectorizer, TF-IDF 벡터 라이저, All-Minilm-L6-V2)을 선택하십시오.
   • PDF를 비교하고 유사성 점수를 얻으려면 "제출"을 클릭하십시오.

3. 챗봇 페이지로 이동하십시오 .

   • PDF를 벡터 데이터베이스에로드하십시오.
   • LLM 모델을 선택하고 쿼리를 입력하여 챗봇을 사용하여 PDF와 상호 작용하십시오.

프로젝트 구조

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

감사의 말

• 간소
• 메타 라마 3
• 올라마
• 크로마 벡터 DB
• 랭케인