ask redis blogs

Parlez aux blogs Redis en utilisant la similitude Redis Vector et la mise en cache sémantique

Nous créons un chatbot qui peut résumer et recommander des blogs sur le site Web redis.com en fonction de la requête utilisateur.

Ce petit projet utilise 2 modèles d'IA

• All-Mpnet-Base-V2
• BART (modèle de grande taille), affiné sur CNN Daily Mail

Dans ce projet, nous visons à démontrer

• Utilisation de la recherche de similitude Redis Vector, qui fonctionne sur le contenu des données et nous aide à trouver des blogs avec du contenu similaire à l'invite saisie par l'utilisateur
• L'utilisation de Redis comme cache sémantique, qui utilise à nouveau la similitude vectorielle, mais dans ce cas, la recherche de similitude fonctionne sur les questions précédentes des utilisateurs qui sont mises en cache dans Redis. Cela nous offre d'immenses avantages en termes d'efficacité et de réponses peu rapides à des milliers d'utilisateurs simultanés qui ont des questions similaires

Tournez une instance Redis activée avec Redisstack!

Le moyen le plus simple est d'utiliser une image Docker en utilisant la commande ci-dessous

docker run -d -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

Si vous ne souhaitez pas utiliser une image Docker, vous pouvez vous inscrire à un abonnement Redis Cloud gratuit ici.

Configurer le projet

Télécharger le référentiel

 git clone https://github.com/mar1boroman/ask-redis-blogs.git && cd ask-redis-blogs

Préparer et activer l'environnement virtuel

 python3 -m venv .env && source .env/bin/activate

Installez les bibliothèques et dépendances nécessaires

 pip install -r requirements.txt

Étape 1: Extraire les blogs du site officiel de Redis. (Facultatif)

Nous avons une vaste base de connaissances sur le blog Redis permet d'exécuter le premier script qui est un webscraper, ce script grattera le site Web et créera un fichier CSV contenant les données de tous les blogs disponibles.

python 0_ext_redis_blogs.py

Remarque Ce référentiel a déjà les blogs mis à jour jusqu'au 19 septembre 2023, l'exécution de ce script ne téléchargera que les nouveaux blogs. Le fichier CSV est enregistré sur redis_blogs.csv

Étape 2: Exécutez le fichier CSV via All-Mpnet-Base-V2

Dans cette étape, nous générons l'incorporation pour le contenu texte de chaque blog et les stockons dans un format de hachage

python 1_load_redis_blogs.py

Vous pouvez explorer le contenu de votre base de données Redis dans RedisInssight sur votre navigateur sur http: // localhost: 8001

Étape 3

Maintenant que nous avons stocké les blogs et leurs intérêts dans Redis, il est temps de voir le chatbot en action!.

 streamlit run 3_ui.py

Étape 3.1 - résume automatiquement

Permet d'exécuter une simple recherche de similitude vectorielle sur nos blogs.

Assurez-vous que la case à cocher «Auto Résumé» n'est pas contrôlée

Entrez une invite. Par exemple

 Triggers and Functions

Vous obtiendrez 3 recommandations de blog en millisecondes. La réponse comprend également le temps pris pour retourner la réponse. Dans ce cas, la recherche se produit entièrement dans Redis, sauf que l'invite est exécutée via All-MPNET-Base-V2 avant d'exécuter la recherche de similitude

Étape 3.2 - résume automatiquement

Permet de devenir un peu plus avancé.

Assurez-vous que la case à cocher «Auto Résumé» est cochée

Entrez une invite. Par exemple

 Triggers and Functions

Lorsque vous entrez cette invite pour la première fois, les choses suivantes se produiront

• L'invite est exécutée via All-Mpnet-Base-V2
• La recherche de similitude entre l'incorporation de l'invite et les intégres stockés dans Redis produira 3 recommandations de blog
• Le contenu texte des trois blogs recommandés à l'étape précédente est exécuté via BART (modèle de grande taille), affiné sur le résumé du courrier quotidien CNN pour générer un bref résumé de chacun des blogs
• Les 3 recommandations du blog, ainsi que leurs résumés, sont renvoyées le chatbot.

Cela prend beaucoup de temps, environ 30 s

Par conséquent, nous stockons la réponse et l'invite dans Redis. Vérifiez votre RedisInsight dans le navigateur et vous verrez une clé créée avec le préfixe llm_cache

Une fois la réponse qu'il est retourné, l'invite et la réponse sont mises en cache, et plus important encore , l'invite est exécutée via All-MPNET-Base-V2 et son intégration correspondante est également mise en cache

Essayez maintenant d'exécuter à nouveau la même invite (ou une invite similaire). Par exemple

 About Triggers and functions

Vous obtiendrez la réponse en cache en fonction de la recherche de similitude vectorielle et rapide dans une influence entre les invites et la réponse qui a été mise en cache à l'étape précédente.

Nous pouvons clairement voir les avantages de l'utilisation de la mise en cache sémantique ici

• Le temps pris pour répondre à des requêtes similaires est réduite de façon exponentielle
• Vous n'avez pas à revenir au modèle d'IA pour générer des résumés pour des requêtes similaires. (Enregistrez des jetons!)
• La réponse en cache peut servir plusieurs milliers d'utilisateurs simultanés (sauf encore plus de jetons!)

Étape 4 (facultative)

Une version du chatbot est disponible en version CLI

python 2_vecsim_redis_blogs.py