ask redis blogs

Bicaralah dengan Blog Redis Menggunakan Redis Vector Kesamaan & Caching Semantic

Kami membangun chatbot yang dapat meringkas dan merekomendasikan blog di situs web Redis.com berdasarkan kueri pengguna.

Proyek kecil ini menggunakan 2 model AI

• all-mpnet-base-v2
• BART (model berukuran besar), disesuaikan di CNN Daily Mail

Dalam proyek ini, kami bertujuan untuk menunjukkan

• Menggunakan Redis Vector Kesamaan Pencarian, yang berfungsi pada konten data & membantu kami menemukan blog dengan konten yang mirip dengan prompt yang dimasukkan oleh pengguna
• Menggunakan Redis sebagai cache semantik, yang sekali lagi menggunakan kesamaan vektor, tetapi dalam hal ini pencarian kesamaan berfungsi pada pertanyaan pengguna sebelumnya yang di -cache di Redis. Ini memberi kita manfaat besar dalam hal efisiensi dan tanggapan yang sangat cepat terhadap ribuan pengguna bersamaan yang memiliki pertanyaan serupa

Putar instance Redis diaktifkan dengan RedisStack!

Cara termudah adalah dengan menggunakan gambar Docker menggunakan perintah di bawah ini

docker run -d -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

Jika Anda tidak ingin menggunakan gambar Docker, Anda dapat mendaftar untuk berlangganan Redis Cloud gratis di sini.

Siapkan Proyek

Unduh repositori

 git clone https://github.com/mar1boroman/ask-redis-blogs.git && cd ask-redis-blogs

Persiapkan dan aktifkan lingkungan virtual

 python3 -m venv .env && source .env/bin/activate

Instal perpustakaan dan dependensi yang diperlukan

 pip install -r requirements.txt

Langkah 1: Mari kita ekstrak blog dari situs web resmi Redis. (Opsional)

Kami memiliki basis pengetahuan yang luas di blog Redis mari kita jalankan skrip pertama yang merupakan Webscraper, skrip ini akan mengikis situs web dan membuat file CSV yang berisi data semua blog yang tersedia.

python 0_ext_redis_blogs.py

Perhatikan repositori ini sudah memiliki blog yang diperbarui hingga 19 September, 2023, menjalankan skrip ini hanya akan mengunduh blog baru. File CSV disimpan di redis_blogs.csv

Langkah 2: Jalankan file CSV melalui All-Mpnet-Base-V2

Pada langkah ini, kami menghasilkan embedding untuk konten teks dari setiap blog dan menyimpannya dalam format hash

python 1_load_redis_blogs.py

Anda dapat menjelajahi konten database Redis Anda di Redisinsight di browser Anda di http: // localhost: 8001

Langkah 3

Sekarang kami telah menyimpan blog dan embeddings mereka di Redis, saatnya untuk melihat chatbot beraksi!.

 streamlit run 3_ui.py

Langkah 3.1 - Ringkasan Otomatis

Mari kita jalankan pencarian kesamaan vektor sederhana melalui blog kami.

Pastikan kotak centang 'ringkasan otomatis' tidak dicentang

Masukkan prompt. Untuk misalnya

 Triggers and Functions

Anda akan mendapatkan 3 rekomendasi blog dalam milidetik. Responsnya juga mencakup waktu yang dibutuhkan untuk mengembalikan respons. Dalam hal ini, pencarian terjadi sepenuhnya di Redis, kecuali bahwa prompt dijalankan melalui semua-mpnet-base-v2 sebelum menjalankan pencarian kesamaan

Langkah 3.2 - Ringkasan Otomatis

Mari kita menjadi sedikit lebih maju.

Pastikan kotak centang 'Ringkas Otomatis' dicentang

Masukkan prompt. Untuk misalnya

 Triggers and Functions

Saat Anda memasukkan prompt ini untuk pertama kalinya, hal -hal berikut akan terjadi

• Prompt dijalankan melalui all-mpnet-base-v2
• Pencarian kesamaan antara embedding prompt dan embeddings yang disimpan dalam redis akan menghasilkan 3 rekomendasi blog
• Konten teks dari ketiga blog yang direkomendasikan oleh langkah sebelumnya dijalankan melalui BART (model berukuran besar), disesuaikan dengan CNN Daily Mail Summarizer untuk menghasilkan ringkasan singkat dari masing-masing blog
• 3 rekomendasi blog, bersama dengan ringkasan mereka dikirim kembali ke chatbot.

Ini membutuhkan waktu yang sangat lama, sekitar 30 detik

Oleh karena itu, kami menyimpan respons dan prompt di Redis. Periksa redisinsight Anda di browser dan Anda akan melihat kunci yang dibuat dengan awalan llm_cache

Setelah responsnya kembali, prompt dan responsnya di-cache, dan yang lebih penting prompt dijalankan melalui all-mpnet-base-V2 dan embedding yang sesuai juga di-cache

Sekarang coba jalankan prompt yang sama (atau prompt serupa lagi). Untuk misalnya

 About Triggers and functions

Anda akan mendapatkan respons yang di -cache berdasarkan pencarian kesamaan vektor yang sangat cepat antara penanaman petunjuk dan respons yang di -cache pada langkah sebelumnya.

Kita dapat dengan jelas melihat manfaat menggunakan caching semantik di sini

• Waktu yang dibutuhkan untuk menanggapi kueri serupa dikurangi secara eksponensial
• Anda tidak perlu kembali ke model AI untuk menghasilkan ringkasan untuk pertanyaan serupa. (Simpan beberapa token!)
• Respons yang di -cache dapat melayani ribuan pengguna bersamaan (menghemat lebih banyak token!)

Langkah 4 (opsional)

Versi chatbot tersedia dalam versi CLI

python 2_vecsim_redis_blogs.py