NLP Question Answering
1.0.0
First Run Sctring.py, puis irmodel.py, et dernier generativeai.py
Chaque fichier CSV nécessaire est créé par le fichier Python précédent.
Dans ce projet, nous nous concentrons sur le développement d'un système avancé de répondant à des questions adaptées aux élèves du secondaire. L'objectif principal du système est de répondre efficacement aux questions liées à l'histoire, à fournir des informations précises et pertinentes pour aider les étudiants à leur parcours d'apprentissage.
Dans la phase de grattage Web, nous extractons par programme des informations pertinentes de diverses sources Web. Ce processus implique de ramper les pages Web, d'extraire le contenu HTML, d'analyser les données et de les transformer en format structuré.
L'étape suivante est la récupération des informations, où nous utilisons des techniques telles que TF-IDF (fréquence de la fréquence des termes envers la fréquence de document) et SBERT (phrase-BERT) pour indexer et rechercher efficacement les données textuelles collectées. TF-IDF calcule l'importance de chaque mot dans un corpus de document, tandis que SBERT utilise des modèles basés sur des transformateurs pour générer des incorporations contextuelles pour les phrases ou les paragraphes. En utilisant ces méthodes, nous pouvons récupérer efficacement des documents ou des passages pertinents liés à une question donnée.
La dernière étape du processus implique une IA générative, qui vise à générer des réponses humaines aux questions données. Le modèle d'IA génératif apprend de grandes quantités de données et génère des réponses cohérentes et contextuellement pertinentes sur la base de la question d'entrée. Ces modèles ont la capacité de comprendre les modèles de langage, la sémantique et le contexte, leur permettant de générer des réponses qui semblent naturelles et informatives.
