PaperBrain

Бумажный мозг

PaperBrain-это интеллектуальная система исследовательской работы по вопросам и ответам, которая объединяет векторный поиск и крупные языковые модели для предоставления ответов на контекстные вопросы на вопросы, связанные с исследованиями. Он обрабатывает академические документы, понимает их содержание и генерирует структурированные, информативные ответы с надлежащими цитатами и контекстом.

AI -ответ

Ключевые функции

Основные возможности

• Smart Vector Search : использует Qdrant для поиска семантического сходства в исследовательских работах
• Интеллектуальный анализ : использует LLAMA 3.2 для получения комплексных, контекстных ответов
• Структурные ответы : обеспечивает организованный выход с:
  • Основное резюме ответа
  • Ключевые моменты из бумаг
  • Бумажные цитаты и ссылки
  • Ограничения анализа
• Дубликатное обнаружение : интеллектуальное отслеживание показанных работ, чтобы избежать повторения

Бумажные цитаты

Бумажные ключи

Расширенные функции

• Аналитическая панель управления : использование системы отслеживания, шаблоны поиска и метрики актуальности
• История разговоров : вести записи предыдущих запросов и ответов
• Оценка актуальности : четкое объяснение сопоставления бумаги с подробными показателями релевантности
• Интерактивные команды : управление системой для аналитики, истории и отслеживания бумаги

Технологический стек

• Векторный магазин : Qdrant для эффективного поиска сходства
• Встраивание : номинальный текст встраивания для бумажной векторизации
• Интеграция LLM : Llama 3.2 (модель параметров 1B) через Ollama
• Инфраструктура : контейнеризация Docker
• Бэкэнд : асинхровый питон с современными библиотеками
• API -слой : Async http с httpx

Qdrant Database

Отметка векторам

? Предварительные условия

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

Установка

1. Клонировать репозиторий:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. Создайте виртуальную среду:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. Установить зависимости:

pip install -r requirements.txt

4. Начните необходимые услуги:

docker-compose up -d

5. Получить необходимые модели:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

Использование

Проглатывание бумаги

python src/vector.py

• Поместите свои файлы разметки в markdowns/ каталог
• Система автоматически обрабатывает и индексирует документы
• Обрабатывает дублирование обнаружения и отслеживания

Интерфейс запроса

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

Доступные команды

• quit или q : выйдите из программы
• analytics : статистика использования системы отображения
• clear : сбросить историю бумаги
• history : Просмотреть последние вопросы и ответы

Пример потока запросов

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

Соответствующие документы

? Структура проекта

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

Конфигурация

Переменные среды для конфигурации системы:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

Обработка трубопровода

1. Принимание бумаги :

   • Считывает файлы разметки из каталога рекомендаций
   • Генерирует встроения с использованием номинального текста вставки
   • Магазины векторов и метаданных в Qdrant
   • Отслеживание обработанных документов, чтобы избежать дубликатов

2. Обработка запросов :

   • Преобразует пользовательский запрос в вектор
   • Выполняет поиск сходства
   • Получает соответствующие документы
   • Генерирует структурированный ответ LLM

3. Генерация ответов :

   • Форматы контекста для LLM
   • Генерирует структурированный ответ
   • Предоставляет актуальные объяснения
   • Поддерживает историю разговоров

Будущая дорожная карта

• Функциональность экспорта (PDF, Markdown)
• Варианты фильтрации передовой бумаги
• Визуализация сети цитирования
• Многоязычная поддержка
• Возможности переработки партии
• Интерфейс API для интеграции
• Усовершенствованная аналитическая панель
• Пользовательские шаблоны быстрого приглашения

? Внося

Взносы приветствуются! Пожалуйста:

1. Вилка репозитория
2. Создайте филиал своей функции ( git checkout -b feature/amazing-feature )
3. Совершить свои изменения ( git commit -m 'Add amazing feature' )
4. Толкайте к ветке ( git push origin feature/amazing-feature )
5. Откройте запрос на тягу

? Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

Благодарности

• Команда Qdrant для векторной базы данных
• Проект Ollama для интерфейса LLM
• Номинальный ИИ для модели встраивания
• Ллама команда для базовой модели
• Ударные марки были извлечены с использованием литературы

Цитирование

Если вы используете этот проект в своем исследовании, укажите:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}