Semantic Search using Gen AI UniversalSentenceEncoder FAISS

Semântico-Pesquisa-Using-Gen-AI

Ele reflete o principal objetivo do código, que é executar pesquisas semânticas em um conjunto de dados de documentos de texto usando o FAISS para indexação e o codificador da sentença universal para gerar incorporação.

Neste código:

Buscamos o conjunto de dados de 20 grupos de notícias, uma coleção de documentos que abrangem vários tópicos.

Pré -processamos cada documento removendo cabeçalhos de email, endereços, pontuações e números e converter texto em minúsculas para uniformidade.

Utilizamos o codificador da sentença universal para gerar incorporações, convertendo cada documento em uma representação numérica de comprimento fixo capturando seu significado semântico.

Construímos um índice FAISS, uma biblioteca de pesquisa de similaridade rápida e adicionamos as incorporações do documento para permitir a pesquisa eficiente de similaridade.

Definimos uma função de pesquisa que pré -processos as consultas do usuário, gera incorporações e recupera os documentos mais semelhantes do índice.

Demonstramos a funcionalidade com um exemplo de consulta ("motocicleta"), exibindo os principais resultados classificados por similaridade.