PaperBrain

紙腦

Paperbrain是一個智能的研究論文問答系統，將矢量搜索和大型語言模型結合在一起，為與研究相關的問題提供上下文感知的答案。它處理學術論文，理解其內容，並以適當的引用和背景產生結構化的，內容豐富的回應。

AI響應

關鍵功能

核心功能

• 智能矢量搜索：利用qdrant進行研究論文的語義相似性搜索
• 智能分析：利用美洲駝3.2產生全面的，上下文感知的答案
• 結構化響應：提供有組織的輸出：
  • 主要答案摘要
  • 論文的要點
  • 紙引用和參考
  • 分析限制
• 重複檢測：智能跟踪顯示的論文以避免重複

紙引用

紙鑰匙鍵

高級功能

• 分析儀表板：跟踪系統的使用，搜索模式和相關指標
• 對話歷史記錄：維護先前查詢和響應的記錄
• 相關性評分：清晰地解釋紙張與詳細相關指標
• 交互式命令：分析，歷史記錄和紙質跟踪的系統控件

技術堆棧

• 向量商店：QDrant進行有效相似性搜索
• 嵌入：紙矢量化的通用嵌入文本
• LLM集成：Llama 3.2（1B參數模型）通過Ollama
• 基礎架構：Docker容器化
• 後端：與現代圖書館的異步Python
• API層：HTTPX的異步HTTP

QDRANT數據庫

向向量宣傳

？先決條件

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

安裝

1. 克隆存儲庫：

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. 創建虛擬環境：

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. 安裝依賴項：

pip install -r requirements.txt

4. 開始所需的服務：

docker-compose up -d

5. 拉所需的型號：

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

用法

攝入紙

python src/vector.py

• 將您的降價文件放在markdowns/ Directory中
• 系統自動處理和索引論文
• 處理重複檢測和跟踪

查詢接口

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

可用命令

• quit或q ：退出程序
• analytics ：顯示系統使用統計信息
• clear ：重置紙歷史
• history ：查看最近的問題和回答

示例查詢流

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

相關論文

？項目結構

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

配置

系統配置的環境變量：

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

處理管道

1. 攝入紙：

   • 從建議目錄讀取Markdown文件
   • 使用nomic嵌入文本生成嵌入
   • 將載體和元數據存儲在qdrant中
   • 跟踪處理的論文以避免重複

2. 查詢處理：

   • 將用戶查詢轉換為向量
   • 執行相似性搜索
   • 檢索相關論文
   • 生成結構化的LLM響應

3. 響應生成：

   • LLM的格式上下文
   • 生成結構化響應
   • 提供相關解釋
   • 保持對話歷史

未來的路線圖

• 導出功能（PDF，Markdown）
• 高級紙質過濾選項
• 引文網絡可視化
• 多語言支持
• 批處理處理功能
• 集成的API接口
• 增強的分析儀表板
• 自定義提示模板

？貢獻

歡迎捐款！請：

1. 分叉存儲庫
2. 創建您的功能分支（ git checkout -b feature/amazing-feature ）
3. 提交您的更改（ git commit -m 'Add amazing feature' ）
4. 推到分支機構（ git push origin feature/amazing-feature ）
5. 打開拉請請求

？執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。

致謝

• 矢量數據庫的QDrant團隊
• LLM界面的Ollama項目
• 用於嵌入模型的通用AI
• 基礎模型的美洲駝團隊
• 使用文獻進行宣傳

引用

如果您在研究中使用此項目，請引用：

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}