PaperBrain

Paperbrain

O PaperBrain é um sistema de perguntas e respostas inteligente para o artigo de pesquisa que combina pesquisa vetorial e grandes modelos de idiomas para fornecer respostas com conhecimento de contexto a perguntas relacionadas à pesquisa. Ele processa trabalhos acadêmicos, entende seu conteúdo e gera respostas estruturadas e informativas com citações e contexto adequados.

Resposta ai

Principais recursos

Recursos principais

• Pesquisa de vetor inteligente : utiliza QDRANT para pesquisa de similaridade semântica de trabalhos de pesquisa
• Análise Inteligente : Aproveite Llama 3.2 para gerar respostas abrangentes e com reconhecimento de contexto
• Respostas estruturadas : fornece saída organizada com:
  • Resumo da resposta principal
  • Pontos -chave dos papéis
  • Citações de papel e referências
  • Limitações de análise
• Detecção duplicada : rastreamento inteligente de papéis mostrados para evitar a repetição

Citações de papel

Papel KeyBopints

Recursos avançados

• Painel de análise : uso do sistema de rastreamento, padrões de pesquisa e métricas de relevância
• Histórico de conversas : manter registros de consultas e respostas anteriores
• Pontuação de relevância : Explicação clara da correspondência de papel com métricas de relevância detalhadas
• Comandos interativos : controles do sistema para análise, história e rastreamento de papel

Pilha de tecnologia

• Vector Store : QDRANT para busca eficiente de similaridade
• Incorporação : texto de incorporação nomic para vetorização em papel
• Integração LLM : LLAMA 3.2 (modelo de parâmetro 1B) via Ollama
• Infraestrutura : Containerização do Docker
• Back -end : Python assíncrono com bibliotecas modernas
• Camada da API : assíncrono http com httpx

Banco de dados QDRANT

Marcada para vetores

? Pré -requisitos

 # System requirements
- Python 3.9+
- Docker
- 4GB+ RAM for LLM operations
- Disk space for paper storage

Instalação

1. Clone o repositório:

git clone https://github.com/ansh-info/PaperBrain.git
cd PaperBrain

2. Crie um ambiente virtual:

 # Using conda
conda create --name PaperBrain python=3.11
conda activate PaperBrain

# Using venv
python -m venv env
source env/bin/activate  # On Windows: .envScriptsactivate

3. Instale dependências:

pip install -r requirements.txt

4. Inicie os serviços necessários:

docker-compose up -d

5. Puxe os modelos necessários:

 # If you want other models
docker exec ollama ollama pull llama3.2:1b
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull nomic-embed-text

Uso

Ingestão de papel

python src/vector.py

• Coloque seus arquivos de marcação no markdowns/ Diretório
• O sistema processa e indexa automaticamente os documentos
• Lida com detecção e rastreamento duplicados

Interface de consulta

python src/llmquery.py     # Run src/query.py to query qdrant database(without llm)

Comandos disponíveis

• quit ou q : Saia do programa
• analytics : Exibir estatísticas de uso do sistema
• clear : Reset Paper History
• history : Veja perguntas e respostas recentes

Exemplo de fluxo de consulta

 > What are the main approaches for discovering governing equations from data?

The system will provide:
1. Main Answer: Comprehensive summary
2. Key Points: Important findings
3. Paper Citations: Relevant sources
4. Limitations: Gaps in current knowledge
5. Relevance Scores: Why papers were selected

Artigos relevantes

? Estrutura do projeto

 research-lens/
├── docker-compose.yml
├── requirements.txt
├── README.md
├── vector.py      # Paper ingestion and processing
├── llmquery.py          # Main Q&A interface
├── query.py          # To query qdrant databse without llm
├── markdowns/     # Paper storage directory
└── processed_papers.json # Paper tracking database

Configuração

Variáveis ​​de ambiente para configuração do sistema:

QDRANT_HOST=localhost    # Qdrant server host
QDRANT_PORT=6333        # Qdrant server port
OLLAMA_HOST=localhost   # Ollama server host
OLLAMA_PORT=11434      # Ollama server port 

Processando pipeline

1. Ingestão de papel :

   • Lê arquivos de marcação do diretório de recomendações
   • Gera incorporações usando o texto de incorporação nomic
   • Armazenam vetores e metadados em QDrant
   • Rastreia papéis processados ​​para evitar duplicatas

2. Processamento de consulta :

   • Converte a consulta do usuário em vetor
   • Executa pesquisa de similaridade
   • Recupera artigos relevantes
   • Gera a resposta estruturada de LLM

3. Geração de respostas :

   • Formatos contexto para LLM
   • Gera resposta estruturada
   • Fornece explicações de relevância
   • Mantém o histórico de conversas

Roteiro futuro

• Funcionalidade de exportação (PDF, Markdown)
• Opções avançadas de filtragem de papel
• Visualização da rede de citações
• Suporte de vários idiomas
• Recursos de processamento em lote
• Interface da API para integração
• Painel de análise aprimorada
• Modelos de prompt personalizados

? Contribuindo

As contribuições são bem -vindas! Por favor:

1. Fork o repositório
2. Crie sua filial de recursos ( git checkout -b feature/amazing-feature )
3. Compreenda suas mudanças ( git commit -m 'Add amazing feature' )
4. Empurre para o ramo ( git push origin feature/amazing-feature )
5. Abra um pedido de tração

? Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Agradecimentos

• Equipe QDRANT para banco de dados vetorial
• Projeto Ollama para interface LLM
• IA NOMIC para incorporar modelo
• Equipe de lhama para o modelo básico
• Os remarcações foram buscados usando literaturasurvey

Citação

Se você usar este projeto em sua pesquisa, cite:

 @software { PaperBrain_2024 ,
  author = { Ansh Kumar and Apoorva Gupta } ,
  title = { PaperBrain: Intelligent Research Paper Q&A System } ,
  year = { 2024 } ,
  url = { https://github.com/ansh-info/PaperBrain }
}