NLP Question Answering
1.0.0
Zuerst Run Scraping.py, dann irmodel.py und letztes generativeai.py
Jede benötigte CSV -Datei wird von der vorherigen Python -Datei erstellt.
In diesem Projekt konzentrieren wir uns auf die Entwicklung eines fortgeschrittenen Frage -Antwortsystems, das auf Schüler zugeschnitten ist. Das Hauptziel des Systems ist es, die historischen Fragen effizient zu beantworten und genaue und relevante Informationen zu liefern, um den Schülern auf ihrer Lernreise zu unterstützen.
In der Web -Scraping -Phase extrahieren wir programmgesteuert relevante Informationen aus verschiedenen Webquellen. Dieser Prozess beinhaltet das Kriechen von Webseiten, das Extrahieren von HTML -Inhalten, das Parsen der Daten und die Umwandlung in ein strukturiertes Format.
Der nächste Schritt ist das Abrufen von Informationen, bei denen wir Techniken wie TF-IDF (Term Frequenz-Inverse-Dokumentfrequenz) und Sbert (Satz (Satz) verwenden, um die gesammelten Textdaten effektiv zu indexieren und zu durchsuchen. TF-IDF berechnet die Bedeutung jedes Wortes in einem Dokumentkorpus, während Sbert Transformator-basierte Modelle verwendet, um kontextbewusste Einbettungen für Sätze oder Absätze zu generieren. Durch die Verwendung dieser Methoden können wir relevante Dokumente oder Passagen effizient abrufen, die sich auf eine bestimmte Frage beziehen.
Der letzte Schritt im Prozess umfasst generative KI, die darauf abzielt, menschliche Reaktionen auf die angegebenen Fragen zu erzeugen. Das generative KI -Modell lernt aus enormen Datenmengen und generiert kohärente und kontextbezogene Antworten, die auf der Eingabefrage basieren. Diese Modelle haben die Fähigkeit, Sprachmuster, Semantik und Kontext zu verstehen, sodass sie Antworten erzeugen, die natürlich und informativ erscheinen.
