CUDAQuest Semantic Crawl to Answer Engine

CUDA Documentation QA System

Este projeto implementa um sistema de resposta a perguntas (QA) para documentação do CUDA. Ele rasteja a documentação da NVIDIA CUDA, processa os dados, os armazena em um banco de dados vetorial e usa técnicas avançadas de recuperação para responder às consultas do usuário.

Características

• Rastreamento da Web da documentação da NVIDIA CUDA
• Chunking de dados avançado com base na similaridade semântica
• Criação e armazenamento de incorporação de vetores no banco de dados MILVUS
• Expansão de consulta para recuperação aprimorada
• Recuperação híbrida combinando métodos baseados em BM25 e Bert
• Resposta de perguntas usando um modelo de idioma

Instruções de configuração

Pré -requisitos

• Python 3.7+
• PIP (instalador do pacote Python)

Instalação

1. Clone o repositório:
2. Crie um ambiente virtual (opcional, mas recomendado):
3. Instale as dependências necessárias:

Dependências

As principais dependências para este projeto são:

• Scrapy: para rastreamento da web
• Transformadores de frases: para incorporações de texto
• NLTK: Para tarefas de processamento de linguagem natural
• rank_bm25: para recuperação BM25
• Tocha e transformadores: para trabalhar com modelos de transformadores
• Streamlit: para criar aplicativos da Web
• Selenium e webdriver_manager: para raspagem na web
• pymilvus: para interagir com o banco de dados do Milvus Vector

Para uma lista completa de dependências, consulte o arquivo requirements.txt .

Executando o sistema

1. Verifique se você tem um servidor Milvus em execução. Consulte a documentação do MILVUS para obter instruções de instalação e configuração.

2. Execute o script principal: 3. O sistema começará rastejando a documentação do CUDA, processando os dados e armazenando -os no banco de dados MILVUS. Essa configuração inicial pode levar algum tempo.

3. Depois que a configuração estiver concluída, você pode começar a fazer perguntas sobre CUDA. O sistema fornecerá respostas com base nas informações recuperadas.

4. Para sair do sistema, digite 'Quase' quando solicitado a uma pergunta.

Estrutura do projeto

• main.py : o script principal que orquestra todo o processo.
• crawler/web_crawler.py : contém a lógica de rastreamento da web.
• data_processing/chunking.py : implementa técnicas avançadas de chunking de dados.
• data_processing/embedding.py : lida com a criação de incorporações de vetor.
• vector_db/milvus_db.py : gerencia interações com o banco de dados MILVUS.
• retrieval/query_expansion.py : implementa técnicas de expansão da Perfeição.
• retrieval/hybrid_retrieval.py : contém a lógica de recuperação híbrida.
• qa/llm_qa.py : gerencia o processo de resposta a perguntas usando um modelo de idioma.

Personalização

• Você pode ajustar o modelo de incorporação modificando o modelo de SentenceTransformer em main.py
• A profundidade do rastreamento da web pode ser ajustada na função crawl_data (atualmente definida como 5 níveis).
• O número de pedaços recuperados para responder pode ser modificado alterando o parâmetro top_k na chamada do método retrieve .

Solução de problemas

Se você encontrar algum problema:

• Verifique se todas as dependências estão instaladas corretamente.
• Verifique se o servidor Milvus está em execução e acessível.
• Verifique se você tem uma conexão estável à Internet para rastreamento da web e downloads de modelos.

Para quaisquer problemas persistentes, abra um problema no repositório do GitHub.