Vetor-Database com biblioteca QDRANT e incorporação com frases de sentença
Simulando um banco de dados vetorial no conjunto de dados Conala.
Conjunto de dados
- CONALA: O conjunto de dados Code/Language Challenge para recuperar trechos de programa relevantes para as consultas do usuário.
Estruturas
- Banco de dados vetorial: banco de dados vetorial na memória usando a biblioteca QDRANT.
- Incorporação: transformador de frase (minilme-l6-v2).
Arquivos
- prepare_data.ipynb: notebook para visualizar os dados e perfurar análises simples do conjunto de dados.
- incorpeddings.ipynb: contém o código completo para criar incorporação usando transformadores de sentença, vetor-database usando QDRANT e depois recuperação com base na similaridade de cosseno.
Se você achar útil o repositório, solte um
