Semantic Search using Gen AI UniversalSentenceEncoder FAISS
1.0.0
Es spiegelt den Hauptzweck des Codes wider, der die semantische Suche in einem Datensatz von Textdokumenten mithilfe von FAISS zur Indexierung und des universellen Satzcodierers zum Generieren von Einbettungen durchführt.
In diesem Code:
Wir holen den 20 Newsgroups -Datensatz, eine Sammlung von Dokumenten, die verschiedene Themen umfassen.
Wir haben jedes Dokument vorverarbeitet, indem wir E -Mail -Header, Adressen, Unterbrechungen und Zahlen entfernen und den Text zur Einheitlichkeit in Kleinbuchstaben konvertieren.
Wir verwenden den universellen Satzcodierer, um Einbettungen zu erzeugen und jedes Dokument in eine numerische Darstellung mit fester Länge umzuwandeln, in der seine semantische Bedeutung erfasst wird.
Wir erstellen einen FAISS -Index, eine schnelle Suchbibliothek für Ähnlichkeit, und fügen die Dokument -Einbettungen hinzu, um eine effiziente Ähnlichkeitssuche zu ermöglichen.
Wir definieren eine Suchfunktion, die Benutzeranfragen vorbereitet, Emetten generiert und die ähnlichsten Dokumente aus dem Index abruft.
Wir demonstrieren die Funktionalität mit einer Beispielabfrage ("Motorrad") und zeigen die Top -Ergebnisse an, die durch Ähnlichkeit eingestuft werden.
