PaperBrain

종이 뇌

PaperBrain은 벡터 검색과 대형 언어 모델을 결합하여 연구 관련 질문에 대한 상황을 인식하는 답변을 제공하는 지능형 연구 논문 Q & A 시스템입니다. 학술 논문을 처리하고 내용을 이해하며 적절한 인용과 맥락으로 체계적이고 유익한 응답을 생성합니다.

AI 응답

주요 기능

핵심 기능

• Smart Vector Search : Qdrant를 사용하여 의미 론적 유사성 검색 연구 논문 검색
• 지능형 분석 : 포괄적 인 맥락 인식 답변을 생성하기위한 라마 3.2 활용
• 구조화 된 응답 : 조직화 된 출력을 제공합니다.
  • 주요 답변 요약
  • 논문의 핵심 요점
  • 종이 인용 및 참조
  • 분석 제한
• 중복 탐지 : 반복을 피하기 위해 표시된 용지의 지능형 추적

종이 인용

종이 키 핀트

고급 기능

• 분석 대시 보드 : 시스템 사용, 검색 패턴 및 관련성 메트릭 추적
• 대화 기록 : 이전 쿼리 및 응답의 기록 유지
• 관련성 스코어링 : 자세한 관련성 지표와 일치하는 종이에 대한 명확한 설명
• 대화식 명령 : 분석, 기록 및 종이 추적을위한 시스템 제어

기술 스택

• 벡터 스토어 : 효율적인 유사성 검색을위한 Qdrant
• 임베딩 : 종이 벡터화를위한 Nomic Imbed Text
• LLM 통합 : Ollama를 통한 LLAMA 3.2 (1B 매개 변수 모델)
• 인프라 : Docker Containerization
• 백엔드 : 최신 라이브러리가있는 비동기 파이썬
• API 층 : HTTPX를 사용한 비동기 HTTP

QDRANT 데이터베이스

벡터에 대한 마크 다운

? 전제 조건

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

설치

1. 저장소 복제 :

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. 가상 환경 생성 :

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. 종속성 설치 :

pip install -r requirements.txt

4. 필수 서비스 시작 :

docker-compose up -d

5. 필수 모델을 당기기 :

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

용법

종이 섭취

python src/vector.py

• Markdown 파일을 markdowns/ Directory에 배치하십시오
• 시스템은 종이를 자동으로 처리하고 색인합니다
• 중복 감지 및 추적을 처리합니다

쿼리 인터페이스

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

사용 가능한 명령

• quit 또는 q : 프로그램을 종료하십시오
• analytics : 디스플레이 시스템 사용 통계
• clear : 종이 역사를 재설정하십시오
• history : 최근 질문과 응답을보십시오

예제 쿼리 흐름

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

관련 서류

? 프로젝트 구조

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

구성

시스템 구성을위한 환경 변수 :

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

처리 파이프 라인

1. 종이 섭취 :

   • 권장 사항 디렉토리에서 Markdown 파일을 읽습니다
   • Nomic Imbed Text를 사용하여 임베딩을 생성합니다
   • Qdrant에 벡터와 메타 데이터를 저장합니다
   • 중복을 피하기 위해 처리 된 용지를 추적합니다

2. 쿼리 처리 :

   • 사용자 쿼리를 벡터로 변환합니다
   • 유사성 검색을 수행합니다
   • 관련 서류를 검색합니다
   • 구조화 된 LLM 응답을 생성합니다

3. 응답 생성 :

   • LLM의 형식 컨텍스트
   • 구조화 된 응답을 생성합니다
   • 관련성 설명을 제공합니다
   • 대화 역사를 유지합니다

미래 로드맵

• 수출 기능 (PDF, Markdown)
• 고급 종이 필터링 옵션
• 인용 네트워크 시각화
• 다국어 지원
• 배치 처리 기능
• 통합을위한 API 인터페이스
• 향상된 분석 대시 보드
• 사용자 정의 프롬프트 템플릿

? 기여

기부금을 환영합니다! 제발:

1. 저장소를 포크하십시오
2. 기능 지점 만들기 ( git checkout -b feature/amazing-feature )
3. 변경 사항을 커밋하십시오 ( git commit -m 'Add amazing feature' )
4. 분기로 git push origin feature/amazing-feature
5. 풀 요청을 엽니 다

? 특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

감사의 말

• 벡터 데이터베이스의 QDRANT 팀
• LLM 인터페이스를위한 Ollama 프로젝트
• 임베딩 모델을위한 nomic ai
• 기본 모델의 LLAMA 팀
• 마크 다운은 문헌을 사용하여 가져 왔습니다

소환

이 프로젝트를 연구에서 사용하는 경우 다음을 인용하십시오.

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}