PaperBrain

Paperbrain

PaperBrain ist ein intelligentes Forschungsarbeiten und -A-System, das Vektorsuche und große Sprachmodelle kombiniert, um kontextbezogene Antworten auf forschungsbezogene Fragen zu geben. Es verarbeitet akademische Arbeiten, versteht ihre Inhalte und generiert strukturierte, informative Antworten mit geeigneten Zitaten und Kontext.

AI -Antwort

Schlüsselmerkmale

Kernfähigkeiten

• Smart Vector -Suche : Verwendet QDrant für die semantische Ähnlichkeitssuche in Forschungsarbeiten
• Intelligente Analyse : Nutzt LLAMA 3.2, um umfassende, kontextbewusste Antworten zu generieren
• Strukturierte Antworten : Bietet eine organisierte Ausgabe mit:
  • Hauptantwort Zusammenfassung
  • Schlüsselpunkte aus Papieren
  • Papierzitate und Referenzen
  • Analysebeschränkungen
• Doppelte Erkennung : Intelligente Verfolgung der gezeigten Arbeiten, um Wiederholungen zu vermeiden

Papierzitate

Papierschlüsselbopints

Erweiterte Funktionen

• Analytics Dashboard : Verfolgungssystemnutzung, Suchmuster und Relevanzmetriken
• Gesprächsgeschichte : Behalten Sie Aufzeichnungen über frühere Fragen und Antworten bei
• Relevanzbewertung : Klare Erläuterung des Papierpapiers mit detaillierten Relevanzmetriken
• Interaktive Befehle : Systemsteuerelemente für Analysen, Verlauf und Papierverfolgung

Technologiestapel

• Vektorspeicher : QDrant für eine effiziente Ähnlichkeitssuche
• Einbettungen : Nomic Einbetttext für die Papiervektorisierung
• LLM -Integration : LLAMA 3.2 (1B Parametermodell) über OLLAMA
• Infrastruktur : Docker -Containerisierung
• Backend : Async Python mit modernen Bibliotheken
• API -Schicht : Async HTTP mit HTTPX

QDRANT -Datenbank

Markdown zu Vektoren

? Voraussetzungen

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

Installation

1. Klonen Sie das Repository:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. Erstellen Sie eine virtuelle Umgebung:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. Abhängigkeiten installieren:

pip install -r requirements.txt

4. Starten Sie die erforderlichen Dienste:

docker-compose up -d

5. Erforderliche Modelle ziehen:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

Verwendung

Aufnahme von Papier

python src/vector.py

• Platzieren Sie Ihre Markdown -Dateien im markdowns/ Verzeichnis
• Das System verarbeitet und indiziert Papiere automatisch
• Verarbeitet die doppelte Erkennung und Verfolgung

Abfrageschnittstelle

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

Verfügbare Befehle

• quit oder q : Beenden Sie das Programm
• analytics : Systemnutzungsstatistik anzeigen
• clear : Papiergeschichte zurücksetzen
• history : Sehen Sie sich die jüngsten Fragen und Antworten an

Beispiel Abfragefluss

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

Relevante Papiere

? Projektstruktur

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

Konfiguration

Umgebungsvariablen für die Systemkonfiguration:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

Verarbeitungspipeline

1. Aufnahme von Papier :

   • Liest Markdown -Dateien aus dem Empfehlungsverzeichnis
   • Generiert Einbettung mit Nomic -Einbetttext
   • Speichert Vektoren und Metadaten in Qdrant
   • Verfolgt verarbeitete Papiere, um Duplikate zu vermeiden

2. Abfrageverarbeitung :

   • Konvertiert die Benutzerabfrage in Vektor
   • Führt Ähnlichkeitssuche durch
   • Ruft relevante Papiere ab
   • Erzeugt eine strukturierte LLM -Reaktion

3. Antwortgenerierung :

   • Formatkontext für LLM
   • Erzeugt eine strukturierte Reaktion
   • Bietet Relevanzerklärungen
   • Behält die Gesprächsgeschichte

Zukünftige Roadmap

• Exportfunktionalität (PDF, Markdown)
• Erweiterte Papierfilteroptionen
• Zitiernetzwerkvisualisierung
• Multisprachiger Unterstützung
• Batch -Verarbeitungsfunktionen
• API -Schnittstelle zur Integration
• Verbessertes Analytics -Dashboard
• Benutzerdefinierte Eingabeaufforderung Vorlagen

? Beitragen

Beiträge sind willkommen! Bitte:

1. Geben Sie das Repository auf
2. Erstellen Sie Ihre Funktionszweig ( git checkout -b feature/amazing-feature ).
3. Bestimmen Sie Ihre Änderungen ( git commit -m 'Add amazing feature' )
4. Push in den Zweig ( git push origin feature/amazing-feature )
5. Öffnen Sie eine Pull -Anfrage

? Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Anerkennung

• QDRANT -Team für Vector -Datenbank
• Ollama -Projekt für LLM -Schnittstelle
• Nomic AI zum Einbettungsmodell
• Lama -Team für das Basismodell
• Die Markdowns wurden unter Verwendung von Literaturesurvey abgerufen

Zitat

Wenn Sie dieses Projekt in Ihrer Forschung verwenden, zitieren Sie bitte:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}