ask redis blogs

使用REDIS矢量相似性和语义缓存与Redis博客交谈

我们构建了一个聊天机器人，可以根据用户查询在Redis.com网站上汇总并推荐博客。

这个小型项目使用2种AI模型

• 全mpnet-base-v2
• BART（大型型号），在CNN每日邮件上进行微调

在这个项目中，我们旨在证明

• 使用Redis Vector相似性搜索，该搜索可用于数据的内容并帮助我们找到具有类似用户提示的内容的博客
• 使用Redis作为语义缓存，它再次使用向量相似性，但是在这种情况下，相似性搜索在用户上可以使用Redis中缓存的以前的问题。这给我们带来了巨大的好处，并对有类似问题的数千个并发用户发出了巨大的回应

用RedisStack启用了REDIS实例！

最简单的方法是使用以下命令使用Docker映像

docker run -d -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

如果您不想使用Docker映像，则可以在此处注册免费的Redis Cloud订阅。

设置项目

下载存储库

 git clone https://github.com/mar1boroman/ask-redis-blogs.git && cd ask-redis-blogs

准备并激活虚拟环境

 python3 -m venv .env && source .env/bin/activate

安装必要的库和依赖项

 pip install -r requirements.txt

步骤1：让我们从Redis官方网站中提取博客。 （选修的）

我们在REDIS博客上拥有广泛的知识库，让运行第一个脚本是Web Craper，该脚本将刮擦网站并创建一个包含所有可用博客数据的CSV文件。

python 0_ext_redis_blogs.py

请注意，该存储库已经已更新到2023年9月19日，运行此脚本只会下载新博客。 CSV文件保存在redis_blogs.csv上

步骤2：通过ALL-MPNET-BASE-V2运行CSV文件

在此步骤中，我们为每个博客的文本内容生成嵌入，并以哈希格式存储它们

python 1_load_redis_blogs.py

您可以在http：// localhost：8001中对redisinsight进行redis数据库的内容探索您的redis数据库的内容

步骤3

现在，我们已经将博客及其嵌入在Redis中，该是时候看到聊天机器人正在行动！

 streamlit run 3_ui.py

步骤3.1-自动总结

让我们在我们的博客上运行一个简单的向量相似性搜索。

确保未选中“自动汇总”复选框

输入提示。例如

 Triggers and Functions

您将在毫秒内获得3个博客建议。响应还包括返回响应所花费的时间。在这种情况下，搜索完全在REDIS中进行，只是在运行相似性搜索之前通过All-Mpnet-Base-V2运行该提示

步骤3.2-自动总结

让我们变得更加先进。

确保检查“自动总结”复选框

输入提示。例如

 Triggers and Functions

当您第一次输入此提示时，将会发生以下事情

• 该提示通过全mpnet-base-v2运行
• 提示的嵌入与REDIS中存储的嵌入之间的相似性搜索将产生3个博客建议
• 上一步推荐的所有三个博客的文本内容都是通过BART（大型模型）运行的，在CNN Daily Mail Summarizer上进行了微调，以生成每个博客的简短摘要
• 3个博客建议以及他们的摘要都将送回聊天机器人。

这需要相当长的时间，大约30 s

因此，我们将响应和提示存储在Redis中。在浏览器中检查您的重新介绍，您将看到一个使用前缀llm_cache创建的键

响应返回后，提示和响应将被缓存，更重要的是，该提示通过ALL-MPNET-BASE-V2运行，并且其相应的嵌入也被缓存

现在，尝试运行相同的提示（或再次相似的提示）。例如

 About Triggers and functions

您将根据提示嵌入和上一步中缓存的响应之间的巨大快速向量相似性搜索获得缓存的响应。

我们可以清楚地看到在此处使用语义缓存的好处

• 响应类似查询所花费的时间是指数缩的
• 您不必返回AI模型即可为类似查询生成摘要。 （节省一些令牌！）
• 缓存的响应可以为成千上万的并发用户提供服务（节省更多令牌！）

步骤4（可选）

CLI版本可用聊天机器人的版本

python 2_vecsim_redis_blogs.py