PaperBrain

紙brain

Paperbrainは、ベクター検索と大規模な言語モデルを組み合わせて、研究関連の質問に対するコンテキストを意識した回答を提供するインテリジェントな研究論文Q＆Aシステムです。アカデミックペーパーを処理し、コンテンツを理解し、適切な引用とコンテキストで構造化された有益な応答を生成します。

AI応答

重要な機能

コア機能

• スマートベクトル検索：QDRANTを利用してセマンティックな類似性の研究論文の検索
• インテリジェントな分析：包括的なコンテキストを意識する回答を生成するためのラマ3.2を活用する
• 構造化された応答：整理された出力を次のように提供します。
  • 主な回答の概要
  • 論文からのキーポイント
  • 紙の引用と参照
  • 分析の制限
• 重複検出：繰り返しを避けるために示されている論文のインテリジェントな追跡

紙の引用

Paper KeyBopints

高度な機能

• 分析ダッシュボード：システムの使用、検索パターン、および関連性メトリックを追跡する
• 会話の履歴：以前のクエリと応答の記録を維持する
• 関連性のスコアリング：詳細な関連性メトリックと一致する紙の明確な説明
• インタラクティブコマンド：分析、履歴、紙の追跡のためのシステムコントロール

テクノロジースタック

• ベクトルストア：効率的な類似性検索のためのQDRANT
• 埋め込み：ペーパーベクトル化用のNOMIC Embedテキスト
• LLM統合：Ollama経由のLlama3.2（1bパラメーターモデル）
• インフラストラクチャ：Dockerコンテナ化
• バックエンド：最新のライブラリを備えたAsync Python
• APIレイヤー：httpxを使用したasync http

QDRANTデータベース

ベクターへのマークダウン

？前提条件

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

インストール

1. リポジトリをクローンします：

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. 仮想環境を作成します：

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. 依存関係をインストールします：

pip install -r requirements.txt

4. 必要なサービスを開始します：

docker-compose up -d

5. 必要なモデルをプル：

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

使用法

紙の摂取

python src/vector.py

• マークダウンファイルをmarkdowns/ディレクトリに配置します
• システムは自動的に論文を処理およびインデックスを作成します
• 重複した検出と追跡を処理します

クエリインターフェイス

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

利用可能なコマンド

• quitまたはq ：プログラムを終了します
• analytics ：システムの使用統計を表示します
• clear ：紙の履歴をリセットします
• history ：最近の質問と回答を見る

クエリフローの例

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

関連する論文

？プロジェクト構造

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

構成

システム構成の環境変数：

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

パイプラインの処理

1. 紙の摂取：

   • 推奨事項ディレクトリからマークダウンファイルを読み取ります
   • NOMIC Embedテキストを使用して埋め込みを生成します
   • QDRANTにベクターとメタデータを保存します
   • 重複を避けるために、加工された論文を追跡します

2. クエリ処理：

   • ユーザークエリをベクトルに変換します
   • 類似性検索を実行します
   • 関連する論文を取得します
   • 構造化されたLLM応答を生成します

3. 応答生成：

   • LLMのコンテキストをフォーマットします
   • 構造化された応答を生成します
   • 関連性の説明を提供します
   • 会話の履歴を維持します

将来のロードマップ

• エクスポート機能（PDF、マークダウン）
• 高度なペーパーフィルタリングオプション
• 引用ネットワークの視覚化
• 多言語サポート
• バッチ処理機能
• 統合のためのAPIインターフェイス
• 強化された分析ダッシュボード
• カスタムプロンプトテンプレート

？貢献

貢献は大歓迎です！お願いします：

1. リポジトリをフォークします
2. 機能ブランチを作成します（ git checkout -b feature/amazing-feature ）
3. あなたの変更をコミットします（ git commit -m 'Add amazing feature' ）
4. ブランチへのプッシュ（ git push origin feature/amazing-feature ）
5. プルリクエストを開きます

？ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

謝辞

• ベクターデータベースのQDRANTチーム
• LLMインターフェイスのOllamaプロジェクト
• 埋め込みモデルのNOMIC AI
• 基本モデルのラマチーム
• マークダウンは、LiteratureSurveyを使用してフェッチされました

引用

このプロジェクトを調査で使用する場合は、引用してください。

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}