pinecone_hybrid_search

Langchain Pinecone Hybrid Search Showcase

Informations sur le projet

• Lubriole
• Pinone pour la base de données vectorielle
• HuggingFace All-Minilm-L6-V2 pour les intégres
• BM25 avec encodeur de hachage MMH3

Caractéristiques

• La recherche hybride est la combinaison de requêtes de texte intégral et de vecteur qui s'exécutent par rapport à un index de recherche contenant à la fois du contenu en texte brut consultable et des intérêts générés

Démo

Input sentences: [ ' In 2019, I visited Hungary ' , ' In 2020, I visited Czech Republic ' , ' In 2021, I visited Georgia ' ]
Custom query: What country did I visit first ?
100% | ██████████ | 3/3 [00: 00< 00:00, 24.12it/s]
BM25 values saved to bm25_values.json
100% | ██████████ | 1/1 [00: 02< 00:00,  2.15s/it]
Query result: [Document(metadata={ ' score ' : 0.286206543}, page_content= ' In 2019, I visited Hungary ' ), Document(metadata={ ' score ' : 0.255560637}, page_content= ' In 2020, I visited Czech Republic ' ), Document(metadata={ ' score ' : 0.225382119}, page_content= ' In 2021, I visited Georgia ' )]

Généré bm25_values.json est présent dans le repo

Installation:

1. Clone ce dépôt à votre dossier:

 git clone THIS REPO

2. Créez un environnement virtuel

3. Installez les dépendances

 pip install -r requirements.txt

Extrawest.com, 2024