NLP Question Answering
1.0.0
Primero ejecute scraping.py, luego irmodel.py y last generativeai.py
Cada archivo CSV necesario es creado por el archivo Python anterior.
En este proyecto, nos centramos en desarrollar un sistema de respuesta de preguntas avanzado adaptado para estudiantes de secundaria. El objetivo principal del sistema es responder de manera eficiente las preguntas relacionadas con el historial, proporcionando información precisa y relevante para ayudar a los estudiantes en su viaje de aprendizaje.
En la fase de raspado web, extraemos programáticamente información relevante de varias fuentes web. Este proceso implica rastrear páginas web, extraer contenido HTML, analizar los datos y transformarlo en un formato estructurado.
El siguiente paso es la recuperación de la información, donde utilizamos técnicas como TF-IDF (frecuencia de documento de frecuencia de término) y Sbert (oración-Bert) para indexar y buscar los datos textuales recopilados de manera efectiva. TF-IDF calcula la importancia de cada palabra en un corpus de documentos, mientras que SBERT utiliza modelos basados en transformadores para generar incrustaciones conscientes de contexto para oraciones o párrafos. Al utilizar estos métodos, podemos recuperar eficientemente documentos o pasajes relevantes relacionados con una pregunta dada.
El paso final en el proceso implica una IA generativa, que tiene como objetivo generar respuestas similares a los humanos a las preguntas dadas. El modelo de IA generativo aprende de grandes cantidades de datos y genera respuestas coherentes y contextualmente relevantes basadas en la pregunta de entrada. Estos modelos tienen la capacidad de comprender los patrones de lenguaje, la semántica y el contexto, lo que les permite generar respuestas que parecen naturales e informativas.
