Semantic Search using Gen AI UniversalSentenceEncoder FAISS
1.0.0
Refleja el objetivo principal del código, que es realizar una búsqueda semántica en un conjunto de datos de documentos de texto utilizando FAISS para la indexación y el codificador de oraciones universales para generar integridades.
En este código:
Obtenemos el conjunto de datos de 20 grupos de noticias, una colección de documentos que abarcan varios temas.
Preprocesamos cada documento eliminando los encabezados de correo electrónico, las direcciones, las puntuaciones y los números, y convertimos el texto en minúsculas para la uniformidad.
Utilizamos el codificador de oraciones universales para generar embedidas, convirtiendo cada documento en una representación numérica de longitud fija que captura su significado semántico.
Construimos un índice FAISS, una biblioteca de búsqueda de similitud rápida y agregamos los incrustaciones de documentos para permitir una búsqueda de similitud eficiente.
Definimos una función de búsqueda que preprocese consultas de los usuarios, genera incrustaciones y recupera los documentos más similares del índice.
Demostramos la funcionalidad con una consulta de ejemplo ("motocicleta"), mostrando los resultados principales clasificados por similitud.
