pinecone_hybrid_search

Langchain Pinecone Hybrid Search Showcase

Información del proyecto

• Langchain
• Pinecone para la base de datos vectorial
• Huggingface All-Minilm-L6-V2 para incrustaciones
• BM25 con codificador de hash MMH3

Características

• Hybrid Search es la combinación de texto completo y consultas vectoriales que se ejecutan contra un índice de búsqueda que contiene contenido de texto plano de búsqueda e incrustaciones generadas

Manifestación

Input sentences: [ ' In 2019, I visited Hungary ' , ' In 2020, I visited Czech Republic ' , ' In 2021, I visited Georgia ' ]
Custom query: What country did I visit first ?
100% | ██████████ | 3/3 [00: 00< 00:00, 24.12it/s]
BM25 values saved to bm25_values.json
100% | ██████████ | 1/1 [00: 02< 00:00,  2.15s/it]
Query result: [Document(metadata={ ' score ' : 0.286206543}, page_content= ' In 2019, I visited Hungary ' ), Document(metadata={ ' score ' : 0.255560637}, page_content= ' In 2020, I visited Czech Republic ' ), Document(metadata={ ' score ' : 0.225382119}, page_content= ' In 2021, I visited Georgia ' )]

BM25_Values.json generado está presente en el repositorio

Instalación:

1. Clone este repositorio a su carpeta:

 git clone THIS REPO

2. Cree un entorno virtual

3. Instale las dependencias

 pip install -r requirements.txt

Extrawest.com, 2024