PaperBrain

الورق

Paperbrain هو نظام أسئلة وأجوبة بحثية ذكية يجمع بين البحث في المتجهات ونماذج اللغة الكبيرة لتوفير إجابات مدركة للسياق على الأسئلة المتعلقة بالأبحاث. يقوم بمعالجة الأوراق الأكاديمية ، ويفهم محتواها ، وينشئ استجابات منظمة وغنية بالمعلومات مع الاستشهادات والسياق المناسبة.

استجابة الذكاء الاصطناعي

الميزات الرئيسية

القدرات الأساسية

• البحث الذكي المتجه : يستخدم qdrant للبحث عن التشابه الدلالي لأوراق البحث
• التحليل الذكي : يعزز Llama 3.2 لتوليد إجابات شاملة مدركة للسياق
• الاستجابات المهيكلة : يوفر الإخراج المنظم مع:
  • ملخص الإجابة الرئيسية
  • النقاط الرئيسية من الأوراق
  • الاستشهادات والمراجع الورقية
  • قيود التحليل
• اكتشاف مكرر : تتبع ذكي للأوراق المعروضة لتجنب التكرار

الاستشهادات الورقية

الورق keybopints

ميزات متقدمة

• لوحة معلومات التحليلات : تتبع استخدام النظام وأنماط البحث ومقاييس الأهمية
• تاريخ المحادثة : الحفاظ على سجلات الاستفسارات والردود السابقة
• تسجيل الأهمية : شرح واضح لمطابقة الورق مع مقاييس مفصلة ذات صلة
• الأوامر التفاعلية : عناصر التحكم في النظام للتحليلات والتاريخ وتتبع الورق

كومة التكنولوجيا

• متجر المتجهات : qdrant للبحث في التشابه الفعال
• التضمينات : نص التضمين الرشيق لتجاوز الورق
• تكامل LLM : Llama 3.2 (نموذج المعلمة 1B) عبر Ollama
• البنية التحتية : حاوية الذروة
• الواجهة الخلفية : Python Async مع المكتبات الحديثة
• طبقة API : Async HTTP مع HTTPX

قاعدة بيانات QDrant

تخفيض المتجهات

؟ المتطلبات الأساسية

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

تثبيت

1. استنساخ المستودع:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. إنشاء بيئة افتراضية:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. تثبيت التبعيات:

pip install -r requirements.txt

4. ابدأ الخدمات المطلوبة:

docker-compose up -d

5. سحب النماذج المطلوبة:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

الاستخدام

ابتلاع الورق

python src/vector.py

• ضع ملفات Markdown في markdowns/ Directory
• يقوم النظام تلقائيًا بمعالجة الأوراق وفهرسها
• يتعامل مع الكشف والتتبع المكررة

واجهة الاستعلام

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

الأوامر المتاحة

• quit أو q : الخروج من البرنامج
• analytics : إحصائيات استخدام نظام العرض
• clear : إعادة تعيين تاريخ الورق
• history : عرض الأسئلة والردود الحديثة

مثال تدفق الاستعلام

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

الأوراق ذات الصلة

؟ هيكل المشروع

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

إعدادات

متغيرات البيئة لتكوين النظام:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

معالجة خط أنابيب

1. ابتلاع الورق :

   • يقرأ ملفات Markdown من دليل التوصيات
   • يولد التضمينات باستخدام نص التضمين nomic
   • متجهات المتاجر والبيانات الوصفية في QDrant
   • تتبع الأوراق المعالجة لتجنب التكرارات

2. معالجة الاستعلام :

   • يحول استعلام المستخدم إلى المتجه
   • يؤدي البحث عن التشابه
   • يسترجع الأوراق ذات الصلة
   • يولد استجابة LLM منظمة

3. توليد الاستجابة :

   • سياق تنسيقات LLM
   • يولد استجابة منظمة
   • يوفر تفسيرات ذات صلة
   • يحافظ على تاريخ المحادثة

خريطة الطريق المستقبلية

• وظيفة التصدير (PDF ، Markdown)
• خيارات تصفية الورق المتقدمة
• التصور شبكة الاقتباس
• دعم متعدد اللغات
• قدرات معالجة الدُفعات
• واجهة API للتكامل
• لوحة معلومات التحليلات المحسنة
• قوالب موجهة مخصصة

؟ المساهمة

المساهمات مرحب بها! لو سمحت:

1. شوكة المستودع
2. قم بإنشاء فرع الميزات الخاص بك ( git checkout -b feature/amazing-feature )
3. ارتكب التغييرات الخاصة بك ( git commit -m 'Add amazing feature' )
4. ادفع إلى الفرع ( git push origin feature/amazing-feature )
5. افتح طلب سحب

؟ رخصة

تم ترخيص هذا المشروع بموجب ترخيص معهد ماساتشوستس للتكنولوجيا - راجع ملف الترخيص للحصول على التفاصيل.

شكر وتقدير

• فريق QDrant لقاعدة بيانات المتجهات
• مشروع Ollama لواجهة LLM
• AI NOMIC لتضمين النموذج
• فريق لاما للنموذج الأساسي
• تم جلب عمليات التخفيض باستخدام Literaturesurvey

اقتباس

إذا كنت تستخدم هذا المشروع في بحثك ، فيرجى الاستشهاد:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}