Semantic Search using Gen AI UniversalSentenceEncoder FAISS
1.0.0
Il reflète l'objectif principal du code, qui est d'effectuer une recherche sémantique sur un ensemble de données de documents texte utilisant FAISS pour l'indexation et le codeur de phrase universel pour générer des intérêts.
Dans ce code:
Nous récupérons l'ensemble de données de 20 groupes de discussion, une collection de documents couvrant divers sujets.
Nous préparons chaque document en supprimant les en-têtes de messagerie, les adresses, les ponctuations et les nombres, et convertir le texte en minuscules pour l'uniformité.
Nous utilisons le codeur de phrase universel pour générer des intérêts, convertissant chaque document en une représentation numérique de longueur fixe capturant sa signification sémantique.
Nous construisons un index FAISS, une bibliothèque de recherche de similitude rapide et ajoutons les intégres de documents pour permettre une recherche efficace de similitude.
Nous définissons une fonction de recherche qui prépare les requêtes utilisateur, génère des intégres et récupère les documents les plus similaires de l'index.
Nous démontrons la fonctionnalité avec un exemple de requête ("moto"), affichant les résultats les plus classés par similitude.
