ask redis blogs

Поговорите с блогами Redis, используя сходство Redis Vector & Semantic Caching

Мы строим чат -бот, который может обобщить и рекомендовать блоги на веб -сайте Redis.com на основе пользовательского запроса.

Этот небольшой проект использует 2 модели ИИ

• All-mpnet-base-v2
• BART (модель большого размера), тонко настроенная на CNN Daily Mail

В этом проекте мы стремимся продемонстрировать

• Использование поиска сходства Redis Vector Searnity, которое работает на содержании данных и помогает нам найти блоги с контентом, аналогичным приглашению, введенной пользователем
• Использование Redis в качестве семантического кеша, который снова использует векторное сходство, но в этом случае поиск сходства работает по предыдущим вопросам пользователей, которые кэшируются в Redis. Это дает нам огромные преимущества с точки зрения эффективности и яростно быстрых ответов на тысячи одновременных пользователей, которые имеют сходные вопросы

Сверните экземпляр Redis, включенный с RedIsStack!

Самый простой способ - использовать изображение Docker, используя команду ниже

docker run -d -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

Если вы не хотите использовать изображение Docker, вы можете подписаться на бесплатную подписку Redis Cloud здесь.

Настроить проект

Загрузите репозиторий

 git clone https://github.com/mar1boroman/ask-redis-blogs.git && cd ask-redis-blogs

Подготовьте и активируйте виртуальную среду

 python3 -m venv .env && source .env/bin/activate

Установите необходимые библиотеки и зависимости

 pip install -r requirements.txt

Шаг 1: давайте извлекут блоги с официального сайта Redis. (Необязательный)

У нас есть обширная база знаний в блоге Redis Letres Let Запустить первый сценарий, который является веб -мастером, этот скрипт соскребает веб -сайт и создаст файл CSV, содержащий данные всех доступных блогов.

python 0_ext_redis_blogs.py

Обратите внимание, что в этом репозитории уже есть блоги до 19 сентября 2023 года. Запуск этого сценария будет загружать только новые блоги. Файл CSV сохраняется по адресу redis_blogs.csv

Шаг 2: Запустите файл CSV через All-MPnet-Base-V2

На этом этапе мы генерируем внедрение для текстового содержания каждого блога и храним их в формате хэша

python 1_load_redis_blogs.py

Вы можете изучить содержание вашей базы данных Redis в Redisinsight в вашем браузере по адресу http: // localhost: 8001

Шаг 3

Теперь, когда мы сохранили блоги и их вставки в Редисе, пришло время увидеть чат -бот в действии!.

 streamlit run 3_ui.py

Шаг 3.1 - Автоотравзка суммируйте

Давайте запустим простой поиск сходства вектора по нашим блогам.

Убедитесь, что флажок «Автоматическое обобщение» не завершено

Введите подсказку. Например

 Triggers and Functions

Вы получите 3 рекомендации блога в течение миллисекунды. Ответ также включает в себя время, необходимое для возврата ответа. В этом случае поиск происходит полностью в Redis, за исключением того, что подсказка выполняется через All-mpnet-base-v2 перед запуском поиска сходства

ШАГ 3.2 - Авто

Давайте получим немного более продвинутым.

Убедитесь, что флажок «Auto Summarize» проверяется

Введите подсказку. Например

 Triggers and Functions

Когда вы введете эту подсказку в первый раз, произойдут следующие вещи

• Подсказка запускается через All-mpnet-base-v2
• Поиск сходства между внедрением подсказки и вставками, хранящимися в Redis, даст 3 рекомендации блога.
• Текстовое содержимое всех трех блогов, рекомендованных предыдущим шагом, проходит через BART (модель большого размера), настраиваемый на сумме CNN Daily Mail Summarizer, чтобы создать краткое изложение каждого из блогов
• 3 рекомендации блога, а также их резюме отправляются обратно The Chatbot.

Это занимает значительно много времени, около 30 с

Следовательно, мы храним ответ и подсказку в Redis. Проверьте свой RedisInsight в браузере, и вы увидите ключ, созданный с префиксом llm_cache

После того, как ответ он возвращается, приглашение и ответ кэшируются, и, что более важно, подсказка запускается через All-MPnet-Base-V2, и его соответствующее встраивание также кэшируется

Теперь попробуйте запустить ту же приглашение (или аналогичную подсказку еще раз). Например

 About Triggers and functions

Вы получите кэшированный отклик на основе яростно быстрого поиска сходства с вектором между внедрением подсказок и ответом, который был кэширован на предыдущем этапе.

Мы можем четко увидеть преимущества использования семантического кэширования здесь

• Время, необходимое для ответа на аналогичные запросы, уменьшается в геометрической прогрессии
• Вам не нужно возвращаться к модели искусственного интеллекта, чтобы генерировать резюме для аналогичных запросов. (Сохраните несколько токенов!)
• Кэшированный ответ может обслуживать несколько тысяч одновременных пользователей (сохранить еще больше токенов!)

Шаг 4 (необязательно)

Версия чат -бота доступна в версии CLI

python 2_vecsim_redis_blogs.py