NLP Question Answering
1.0.0
Primeiro Run Scraping.py, depois irmodel.py e último generativeai.py
Cada arquivo CSV necessário é criado pelo arquivo python anterior.
Neste projeto, nos concentramos no desenvolvimento de um sistema avançado de resposta a perguntas, adaptado aos alunos do ensino médio. O objetivo principal do sistema é responder com eficiência a perguntas relacionadas ao histórico, fornecendo informações precisas e relevantes para ajudar os alunos em sua jornada de aprendizado.
Na fase de raspagem da Web, extraímos programaticamente informações relevantes de várias fontes da Web. Esse processo envolve páginas da web rastejando, extraindo conteúdo HTML, analisando os dados e transformando -os em um formato estruturado.
A próxima etapa é a recuperação de informações, onde usamos técnicas como TF-IDF (frequência de termo-inverso da frequência do documento) e Sbert (sentença-bert) para indexar e pesquisar os dados textuais coletados de maneira eficaz. O TF-IDF calcula a importância de cada palavra em um corpus de documento, enquanto Sbert usa modelos baseados em transformadores para gerar incorporações com reconhecimento de contexto para frases ou parágrafos. Ao usar esses métodos, podemos recuperar com eficiência documentos ou passagens relevantes relacionadas a uma determinada pergunta.
A etapa final do processo envolve IA generativa, que visa gerar respostas semelhantes a seres humanos às perguntas dadas. O modelo generativo de IA aprende com vastas quantidades de dados e gera respostas coerentes e contextualmente relevantes com base na pergunta de entrada. Esses modelos têm a capacidade de entender os padrões de linguagem, a semântica e o contexto, permitindo que eles gerem respostas que parecem naturais e informativas.
