NEPSE Chatbot Using Retrieval augmented generation and reranking

Pengambilan generasi augmented dengan reranking

Sumber Gambar: Mk Pavan Kumar

Pengambilan ulang

Sumber Gambar: Pinecone

Proyek ini memanfaatkan model sumber terbuka untuk membangun chatbot untuk NEPSE, Nepal Stock Exchange Ltd, menggunakan teknik pembuatan augmented pengambilan. Buklet NEPSE PDF digunakan untuk pertanyaan. Proyek ini menggunakan model sumber terbuka berikut:

1. Intel/Neural-Chat-7B-V3-1: LLM open-source, yang awalnya dikembangkan oleh Intel dan dikuantisasi oleh Thebloke, digunakan. Secara khusus, Versi Kuantisasi GPTQ 8-bit digunakan karena memori yang terbatas.

   • Model asli
   • Model terkuantisasi

2. All-Mpnet-Base-V2: Trafo kalimat open-source dari wajah pelukan yang disebut all-mpnet-base-V2 digunakan untuk menghasilkan embeddings berkualitas tinggi.

   • Transformator kalimat

3. AAI/BGE-RERANKER-Large: Model reranking open-source dari memeluk wajah yang disebut BGE-Reranker-Large digunakan untuk menunggang ulang dokumen yang diambil dari toko Vector.

   • Reranking

4. Google Translate API: Google Translate API gratis digunakan untuk melakukan terjemahan antara konten Nepal dan bahasa Inggris.

Data teks dari buklet NEPSE dibersihkan, dibagi menjadi potongan -potongan, dan embeddings dikembangkan menggunakan transformator kalimat, yang ditambahkan ke database Vector FAISS. Ketika pengguna memasukkan pertanyaan, embeddings dari input dikembangkan, dan pertanyaan embeddings digunakan untuk melakukan pencarian vektor untuk mengambil dokumen k teratas. Dokumen-dokumen yang diambil atas-K diteruskan ke model reranking untuk meningkatkan kualitas dan relevansi pengambilan. Akhirnya, dokumen K-reranked teratas disahkan sebagai konteks kepada LLM dengan rekayasa cepat yang tepat untuk memberikan jawaban kepada pengguna.

Frontend sederhana menggunakan HTML, CSS, dan JavaScript, dan backend menggunakan Flask telah dikembangkan. Token respons/prediksi dari LLM dialirkan ke frontend secara real-time untuk mengurangi latensi pengguna dan meningkatkan pengalaman pengguna. Aplikasi ini digunakan pada instance G4DN.XLarge AWS EC2 untuk inferensi real-time.

Dengan 16 GB VRAM, ketiga model akan dengan mudah muat tanpa masalah. Tangkapan tangkapan layar dan klip di bawah ini memamerkan kemampuan anjolan real-time dari nepse chatbot yang digunakan pada AWS.

Streaming Respons LLM (seperti chatgpt)

Klik tautan di bawah ini untuk menonton/mengunduh video lengkap.

Tonton video

Eksperimen di masa depan

1. LLM yang lebih kuat dapat diuji. Saya juga mencoba menggunakan API Gemini-Pro Google, yang memberikan hasil yang jauh lebih baik. Namun, menggunakan API berarti kami akan membagikan data kami dengan pihak ketiga. Selain itu, kami tidak akan dapat menyempurnakan LLM pada data khusus kami juga.
2. Transformator kalimat yang menyempurnakan dan model ulang untuk generasi embedding yang berpotensi lebih efektif dan relevan sehubungan dengan data khusus kami.

Referensi

1. Generasi Augmented Retrieval Advanced: Bagaimana Reranking Dapat Mengubah Gim
2. Rerankers - Pinecone