PaperBrain

Paperbrain

PaperBrain adalah Sistem Tanya Jawab Makalah Penelitian Cerdas yang menggabungkan pencarian vektor dan model bahasa besar untuk memberikan jawaban yang sadar konteks untuk pertanyaan terkait penelitian. Ini memproses makalah akademik, memahami kontennya, dan menghasilkan respons terstruktur dan informatif dengan kutipan dan konteks yang tepat.

Respons ai

Fitur utama

Kemampuan inti

• Pencarian Vektor Cerdas : Memanfaatkan Qdrant untuk Pencarian Kesamaan Semantik dari Makalah Penelitian
• Analisis Cerdas : Leverages Llama 3.2 untuk menghasilkan jawaban yang komprehensif dan sadar konteks
• Respons terstruktur : memberikan output terorganisir dengan:
  • Ringkasan Jawaban Utama
  • Poin -poin penting dari kertas
  • Kutipan dan referensi kertas
  • Batasan analisis
• Deteksi duplikat : Pelacakan cerdas dari makalah yang ditampilkan untuk menghindari pengulangan

Kutipan kertas

Kertas keybopints

Fitur canggih

• Analisis Dasbor : Penggunaan Sistem Lacak, Pola Pencarian, dan Metrik Relevansi
• Sejarah Percakapan : Menyimpan catatan kueri dan tanggapan sebelumnya
• Penilaian Relevansi : Penjelasan yang jelas tentang pencocokan kertas dengan metrik relevansi terperinci
• Perintah Interaktif : Kontrol Sistem untuk Analisis, Sejarah, dan Pelacakan Kertas

Tumpukan Teknologi

• Toko Vektor : Qdrant untuk pencarian kesamaan yang efisien
• Embeddings : Nomic Embed Text untuk vektorisasi kertas
• Integrasi LLM : LLAMA 3.2 (Model Parameter 1B) melalui Ollama
• Infrastruktur : Kontainerisasi Docker
• Backend : Async Python dengan Perpustakaan Modern
• Lapisan API : async http dengan httpx

Database qdrant

Markdown ke vektor

? Prasyarat

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

Instalasi

1. Klon Repositori:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. Buat lingkungan virtual:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. Instal dependensi:

pip install -r requirements.txt

4. Mulai Layanan yang Diperlukan:

docker-compose up -d

5. Tarik Model yang Diperlukan:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

Penggunaan

Konsumsi kertas

python src/vector.py

• Tempatkan file Markdown Anda di markdowns/ Direktori
• Sistem secara otomatis memproses dan mengindeks makalah
• Menangani deteksi dan pelacakan duplikat

Antarmuka kueri

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

Perintah yang tersedia

• quit atau q : Keluar dari program
• analytics : Statistik Penggunaan Sistem Tampilan
• clear : Reset Riwayat Kertas
• history : Lihat pertanyaan dan tanggapan terbaru

Contoh Aliran Kueri

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

Makalah yang relevan

? Struktur proyek

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

Konfigurasi

Variabel Lingkungan untuk Konfigurasi Sistem:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

Memproses pipa

1. Kertas konsumsi :

   • Membaca file Markdown dari Direktori Rekomendasi
   • Menghasilkan embeddings menggunakan teks embed nomic
   • Menyimpan vektor dan metadata di qdrant
   • Melacak makalah yang diproses untuk menghindari duplikat

2. Pemrosesan Permintaan :

   • Mengubah kueri pengguna ke vektor
   • Melakukan pencarian kesamaan
   • Mengambil makalah yang relevan
   • Menghasilkan respons LLM terstruktur

3. Generasi Tanggapan :

   • Format konteks untuk LLM
   • Menghasilkan respons terstruktur
   • Memberikan penjelasan yang relevan
   • Mempertahankan riwayat percakapan

Roadmap di masa depan

• Fungsi Ekspor (PDF, Markdown)
• Opsi pemfilteran kertas lanjutan
• Visualisasi jaringan kutipan
• Dukungan multi-bahasa
• Kemampuan pemrosesan batch
• Antarmuka API untuk integrasi
• Dasbor analitik yang ditingkatkan
• Template Prompt Kustom

? Berkontribusi

Kontribusi dipersilakan! Silakan:

1. Garpu repositori
2. Buat Cabang Fitur Anda ( git checkout -b feature/amazing-feature )
3. Komitmen Anda ( git commit -m 'Add amazing feature' )
4. Dorong ke cabang ( git push origin feature/amazing-feature )
5. Buka permintaan tarik

? Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Ucapan Terima Kasih

• Tim Qdrant untuk database vektor
• Proyek Ollama untuk Antarmuka LLM
• Nomic ai untuk model penyematan
• Tim llama untuk model dasar
• Markdowns diambil menggunakan literatureRvey

Kutipan

Jika Anda menggunakan proyek ini dalam penelitian Anda, silakan kutip:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}