PaperBrain

Cerebro de papel

PaperBrain es un sistema de preguntas y respuestas de trabajo de investigación inteligente que combina la búsqueda vectorial y los grandes modelos de idiomas para proporcionar respuestas conscientes de contexto a las preguntas relacionadas con la investigación. Procesa documentos académicos, comprende su contenido y genera respuestas estructuradas e informativas con citas y contexto adecuados.

Respuesta de IA

Características clave

Capacidades centrales

• Búsqueda de vectores inteligentes : utiliza QDRANT para la búsqueda de similitud semántica de trabajos de investigación
• Análisis inteligente : Aproveche Llama 3.2 para generar respuestas integrales y conscientes de contexto
• Respuestas estructuradas : proporciona salida organizada con:
  • Resumen de la respuesta principal
  • Puntos clave de los documentos
  • Citas en papel y referencias
  • Limitaciones de análisis
• Detección duplicada : seguimiento inteligente de documentos mostrados para evitar repetición

Citas en papel

Keybopints de papel

Características avanzadas

• Panel de análisis de análisis : el uso del sistema de seguimiento, los patrones de búsqueda y las métricas de relevancia
• Historial de conversación : Mantener registros de consultas y respuestas anteriores
• Puntuación de relevancia : explicación clara de la coincidencia en papel con métricas detalladas de relevancia
• Comandos interactivos : controles del sistema para análisis, historia y seguimiento en papel

Pila de tecnología

• Tienda vectorial : Qdrant para una búsqueda eficiente de similitud
• Incrustos : texto de incrustación nomic para la vectorización en papel
• LLM Integration : Llama 3.2 (modelo de parámetros 1b) a través de Ollama
• Infraestructura : contenedores de acopolador
• Backend : Async Python con bibliotecas modernas
• Capa API : async http con httpx

Base de datos Qdrant

Markdown a los vectores

? Requisitos previos

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

Instalación

1. Clon el repositorio:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. Crear un entorno virtual:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. Instalar dependencias:

pip install -r requirements.txt

4. Iniciar servicios requeridos:

docker-compose up -d

5. Tirar de los modelos requeridos:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

Uso

Ingestión de papel

python src/vector.py

• Coloque sus archivos de Markdown en el directorio markdowns/
• El sistema procesa e indexa automáticamente los documentos
• Maneja la detección y seguimiento duplicados

Interfaz de consulta

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

Comandos disponibles

• quit o q : Salga del programa
• analytics : estadísticas de uso del sistema de visualización
• clear : Restablecer el historial del papel
• history : Ver preguntas y respuestas recientes

Flujo de consulta de ejemplo

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

Documentos relevantes

? Estructura de proyectos

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

Configuración

Variables de entorno para la configuración del sistema:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

Tubería de procesamiento

1. Ingestión de papel :

   • Lee archivos de Markdown del directorio de recomendaciones
   • Genera incrustaciones usando el texto de incrustación nomic
   • Almacena vectores y metadatos en Qdrant
   • Rastrea los documentos procesados ​​para evitar duplicados

2. Procesamiento de consultas :

   • Convierte la consulta de usuario en Vector
   • Realiza una búsqueda de similitud
   • Recupera documentos relevantes
   • Genera respuesta de LLM estructurada

3. Generación de respuesta :

   • Contexto de formatos para LLM
   • Genera respuesta estructurada
   • Proporciona explicaciones de relevancia
   • Mantiene el historial de conversación

Hoja de ruta futura

• Funcionalidad de exportación (PDF, Markdown)
• Opciones avanzadas de filtrado de papel
• Visualización de la red de citas
• Soporte de varios idiomas
• Capacidades de procesamiento por lotes
• Interfaz API para la integración
• Panel de análisis mejorado
• Plantillas de solicitud personalizadas

? Que contribuye

¡Las contribuciones son bienvenidas! Por favor:

1. Bifurca el repositorio
2. Crea tu rama de características ( git checkout -b feature/amazing-feature )
3. Comprometer sus cambios ( git commit -m 'Add amazing feature' )
4. Push to the Branch ( git push origin feature/amazing-feature )
5. Abra una solicitud de extracción

? Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• Equipo de Qdrant para la base de datos de vectores
• Proyecto Ollama para la interfaz LLM
• AI nomic para incrustar el modelo
• Equipo de llamas para el modelo base
• Las redes se obtuvieron utilizando Literaturesurvey

Citación

Si usa este proyecto en su investigación, cite:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}