PaperBrain

ผ้าห่มกระดาษ

Paperbrain เป็นระบบตอบคำถามการวิจัยและการวิจัยอัจฉริยะที่รวมการค้นหาเวกเตอร์และแบบจำลองภาษาขนาดใหญ่เพื่อให้คำตอบที่ตระหนักถึงบริบทสำหรับคำถามที่เกี่ยวข้องกับการวิจัย มันประมวลผลเอกสารทางวิชาการเข้าใจเนื้อหาของพวกเขาและสร้างการตอบสนองที่มีโครงสร้างและให้ข้อมูลด้วยการอ้างอิงและบริบทที่เหมาะสม

การตอบสนอง AI

คุณสมบัติที่สำคัญ

ความสามารถหลัก

• การค้นหาเวกเตอร์อัจฉริยะ : ใช้ QDRANT สำหรับการค้นหาความคล้ายคลึงกันของความหมายของงานวิจัย
• การวิเคราะห์อัจฉริยะ : ใช้ประโยชน์จาก Llama 3.2 สำหรับการสร้างคำตอบที่ครอบคลุมบริบทที่ครอบคลุม
• การตอบสนองที่มีโครงสร้าง : ให้ผลลัพธ์ที่จัดระเบียบด้วย:
  • สรุปคำตอบหลัก
  • ประเด็นสำคัญจากเอกสาร
  • การอ้างอิงกระดาษและการอ้างอิง
  • ข้อ จำกัด การวิเคราะห์
• การตรวจจับซ้ำ : การติดตามอัจฉริยะของเอกสารที่แสดงเพื่อหลีกเลี่ยงการทำซ้ำ

การอ้างอิงกระดาษ

Keybopints กระดาษ

คุณสมบัติขั้นสูง

• Dashboard Analytics : การใช้ระบบติดตามรูปแบบการค้นหาและตัวชี้วัดที่เกี่ยวข้อง
• ประวัติการสนทนา : เก็บบันทึกการสอบถามและคำตอบก่อนหน้านี้
• การให้คะแนนความเกี่ยวข้อง : คำอธิบายที่ชัดเจนของการจับคู่กระดาษกับตัวชี้วัดความเกี่ยวข้องโดยละเอียด
• คำสั่งแบบโต้ตอบ : การควบคุมระบบสำหรับการวิเคราะห์ประวัติและการติดตามกระดาษ

สแต็คเทคโนโลยี

• Vector Store : QDrant สำหรับการค้นหาความคล้ายคลึงกันที่มีประสิทธิภาพ
• EMBEDDINGS : NOMIC EMBED TEXT สำหรับ Vectorization กระดาษ
• การรวม LLM : LLAMA 3.2 (รุ่นพารามิเตอร์ 1B) ผ่าน Ollama
• โครงสร้างพื้นฐาน : Docker Containerization
• แบ็กเอนด์ : Async Python กับห้องสมุดสมัยใหม่
• API Layer : async http กับ httpx

ฐานข้อมูล QDRANT

Markdown to Vectors

- ข้อกำหนดเบื้องต้น

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

การติดตั้ง

1. โคลนที่เก็บ:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. สร้างสภาพแวดล้อมเสมือนจริง:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. ติดตั้งการพึ่งพา:

pip install -r requirements.txt

4. เริ่มบริการที่จำเป็น:

docker-compose up -d

5. ดึงรุ่นที่ต้องการ:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

การใช้งาน

การบริโภคกระดาษ

python src/vector.py

• วางไฟล์ markdown ของคุณใน markdowns/ directory
• ระบบประมวลผลและดัชนีเอกสารโดยอัตโนมัติ
• จัดการการตรวจจับและการติดตามที่ซ้ำกัน

อินเทอร์เฟซแบบสอบถาม

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

คำสั่งที่มีอยู่

• quit หรือ q : ออกจากโปรแกรม
• analytics : สถิติการใช้ระบบแสดงผล
• clear : รีเซ็ตประวัติกระดาษ
• history : ดูคำถามและคำตอบล่าสุด

ตัวอย่างการค้นหาแบบสอบถาม

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

เอกสารที่เกี่ยวข้อง

- โครงสร้างโครงการ

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

การกำหนดค่า

ตัวแปรสภาพแวดล้อมสำหรับการกำหนดค่าระบบ:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

การประมวลผลไปป์ไลน์

1. การกลืนกระดาษ :

   • อ่านไฟล์ Markdown จากไดเรกทอรีคำแนะนำ
   • สร้าง embeddings โดยใช้ข้อความฝังตัว Nomic
   • ร้านค้าเวกเตอร์และข้อมูลเมตาใน Qdrant
   • แทร็กเอกสารประมวลผลเพื่อหลีกเลี่ยงการทำซ้ำ

2. การประมวลผลแบบสอบถาม :

   • แปลงแบบสอบถามผู้ใช้เป็นเวกเตอร์
   • ทำการค้นหาที่คล้ายคลึงกัน
   • ดึงเอกสารที่เกี่ยวข้อง
   • สร้างการตอบสนอง LLM ที่มีโครงสร้าง

3. การสร้างการตอบสนอง :

   • รูปแบบบริบทสำหรับ LLM
   • สร้างการตอบสนองที่มีโครงสร้าง
   • ให้คำอธิบายที่เกี่ยวข้อง
   • รักษาประวัติการสนทนา

แผนงานในอนาคต

• ฟังก์ชั่นการส่งออก (PDF, Markdown)
• ตัวเลือกการกรองกระดาษขั้นสูง
• การสร้างภาพเครือข่ายการอ้างอิง
• การสนับสนุนหลายภาษา
• ความสามารถในการประมวลผลแบบแบทช์
• อินเตอร์เฟส API สำหรับการรวม
• แผงควบคุมการวิเคราะห์ขั้นสูง
• เทมเพลตพรอมต์ที่กำหนดเอง

- การบริจาค

ยินดีต้อนรับ! โปรด:

1. แยกที่เก็บ
2. สร้างสาขาคุณสมบัติของคุณ ( git checkout -b feature/amazing-feature )
3. กระทำการเปลี่ยนแปลงของคุณ ( git commit -m 'Add amazing feature' )
4. Push to the Branch ( git push origin feature/amazing-feature )
5. เปิดคำขอดึง

- ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• ทีม Qdrant สำหรับฐานข้อมูลเวกเตอร์
• โครงการ Ollama สำหรับอินเตอร์เฟส LLM
• NOMIC AI สำหรับรูปแบบการฝัง
• ทีมลามาสำหรับโมเดลฐาน
• markdowns ถูกดึงมาโดยใช้วรรณกรรม

การอ้างอิง

หากคุณใช้โครงการนี้ในการวิจัยของคุณโปรดอ้างอิง:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}