RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

Agen AI percakapan Cerdas Berbasis Rag untuk Ekstraksi Pengetahuan Menggunakan Langchain Gemini LLM

Di atas Google Colab berisi kode terperinci

Retrieval-Agusted Generation (RAG) adalah kerangka kerja yang menggabungkan pengambilan informasi dengan AI generatif. Ini memungkinkan model untuk mengambil informasi yang relevan dari sumber atau basis data eksternal dan menggunakan data itu untuk menghasilkan respons yang lebih akurat dan relevan secara kontekstual. Dengan memanfaatkan pengambilan dan generasi, RAG meningkatkan akurasi dan keandalan model AI, terutama dalam memberikan informasi terkini atau menangani pertanyaan kompleks.

Alur kerja

Proyek ini menyediakan asisten percakapan berbasis AI yang memanfaatkan generasi Pengambilan-Pengambilan (RAG) untuk mengekstraksi pengetahuan dari dokumen PDF. Sistem ini menggabungkan embeddings teks, pencarian vektor, dan LLM untuk memberikan jawaban atas pertanyaan pengguna. Di bawah ini adalah alur kerja langkah demi langkah terperinci tentang bagaimana aplikasi beroperasi:

1. Mengunggah dokumen PDF

• Pengguna mengunggah file PDF melalui jalur yang menyebutkan di notebook. File yang diunggah diproses untuk mengekstrak teks menggunakan pdfplumber , pustaka Python untuk mengekstraksi teks dari PDFS.

2. Ekstraksi teks

• Notebook menggunakan perpustakaan pdfplumber untuk mengekstrak teks mentah dari PDF yang diunggah. Setiap halaman dokumen diuraikan, dan teks yang dihasilkan disiapkan untuk pemrosesan lebih lanjut.

3. Teks chunking

• Teks yang diekstraksi dibagi menjadi potongan -potongan yang lebih kecil menggunakan RecursiveCharacterTextSplitter . Ini memastikan konten dapat dikelola untuk embeddings dan pengambilan, biasanya dengan ukuran chunk 500 karakter dan tumpang tindih 50 karakter.

4. Generasi Embeddings

• Teks yang dipotong dikonversi menjadi embeddings numerik menggunakan SpacyEmbeddings . Embeddings ini mewakili makna semantik dari potongan -potongan, memungkinkan pencarian yang efisien.

5. Toko Vektor dengan Chroma

• Database vektor dibuat menggunakan pustaka Chroma , di mana embeddings disimpan. Basis data vektor memungkinkan pengambilan informasi yang relevan dengan cepat dan efisien berdasarkan kueri pengguna.

6. Rantai Pengambilan Percakapan

• ConversationalRetrievalChain didirikan menggunakan LangChain , menggabungkan embeddings yang disimpan di Chroma dengan buffer memori percakapan untuk melacak riwayat dan konteks obrolan.

7. Interaksi LLM

• Notebook ini mengintegrasikan ChatGoogleGenerativeAI (Google Gemini LLM) untuk menghasilkan respons yang relevan dan cerdas terhadap pertanyaan pengguna berdasarkan potongan teks yang diambil dari toko vektor.

8. Kueri Pengguna dan Respons AI

• Pengguna dapat memasukkan pertanyaan mereka tentang dokumen PDF yang diunggah, dan sistem merespons dengan mengambil potongan yang paling relevan dari toko vektor dan menghasilkan jawaban menggunakan LLM. Sejarah percakapan dilestarikan untuk konteks.

9. Tampilan riwayat percakapan

• Fitur bagian yang dapat diperluas di mana pengguna dapat melihat riwayat percakapan. Transparansi ini memungkinkan pengguna untuk meninjau kembali kueri dan tanggapan masa lalu, menumbuhkan pemahaman yang lebih baik tentang konteks dan aliran interaksi.

Aliran kain dalam prosesnya

Pentingnya

1. Pengambilan Pengetahuan yang Efisien : Dengan memanfaatkan kekuatan Rag, sistem menggabungkan pengambilan dan generasi untuk menjawab pertanyaan spesifik secara akurat berdasarkan konten dokumen PDF yang diunggah.

2. Skalabilitas dan fleksibilitas : Dengan teks chunking dan embeddings, aplikasi ini dapat menangani dokumen besar sambil memastikan pengambilan informasi yang cepat dan tepat.

3. AI Conversational : Memori sejarah percakapan membuat sistem lebih interaktif, karena melacak pertanyaan dan jawaban sebelumnya, mempertahankan konteks selama percakapan yang panjang.

4. Integrasi Alat AI Modern : Proyek ini menunjukkan penggunaan alat canggih seperti Chroma untuk penyimpanan vektor, LangChain untuk manajemen percakapan, dan Google Gemini LLM untuk menghasilkan jawaban seperti manusia.