rag console chat

Aplikasi Obrolan Konsol Rag: Pengambilan dan Generasi Informasi yang Lebih Baik

Ringkasan

Selamat datang di Aplikasi Obrolan Konsol Rag, alat sederhana namun kuat yang dirancang untuk mengubah cara Anda berinteraksi dan mengekstrak informasi dari repositori dokumen yang luas. Proyek ini mengimplementasikan konsumsi dokumen, generasi yang menanamkan, dan generasi pengambilan (RAG). Jika Anda ingin mengobrol dengan data Anda atau merangkum topik yang kompleks, aplikasi obrolan konsol RAG adalah alat masuk Anda untuk pemrosesan informasi yang cerdas.

Teknologi digunakan

• Python : Tulang punggung aplikasi kami, menyediakan lingkungan pemrograman yang kuat dan fleksibel.
• API OpenAI : Digunakan untuk menghasilkan embeddings dan respons, memastikan output berkualitas tinggi dan relevan secara kontekstual.
• Chromadb : Database vektor yang kuat yang menyimpan dan mengambil dokumen embeddings secara efisien.
• Kaya & Pertanyaan : Perpustakaan untuk menciptakan antarmuka baris perintah yang interaktif dan menarik secara visual.

Konsep dan Komponen

Retrieval-Agusted Generation (RAG)

Rag adalah pendekatan baru yang menggabungkan kekuatan pengambilan informasi dan generasi bahasa alami. Ini meningkatkan kualitas tanggapan yang dihasilkan dengan memasukkan konteks yang relevan dari kumpulan dokumen besar. Pipa kain mengimplementasikan ini dengan:

1. Dokumen Konsumsi : Memuat dan memproses dokumen dari berbagai format (TXT, PDF, DOCX).
2. Generasi Embedding : Menggunakan model Openai untuk mengubah teks menjadi vektor dimensi tinggi yang menangkap makna semantik.
3. Vector Store : Menyimpan embedding ini di Chromadb, memungkinkan pencarian kesamaan yang efisien.
4. Generasi Respons : Memanfaatkan potongan dokumen yang diambil untuk menghasilkan respons yang akurat dan sadar konteks.

Database vektor

Basis data vektor seperti Chromadb sangat penting untuk menyimpan dan meminta embeddings. Ini memungkinkan untuk pengambilan cepat dari dokumen serupa berdasarkan kesamaan vektor, yang sangat penting untuk proses RAG.

Embeddings

Embeddings adalah representasi numerik dari teks yang menangkap informasi semantik. Mereka memungkinkan perbandingan data teks dengan cara yang bermakna, memfasilitasi tugas -tugas seperti kesamaan dan pengelompokan dokumen.

Fitur

• Mode Obrolan Interaktif : Terlibat dalam antarmuka percakapan untuk mengajukan pertanyaan dan menerima jawaban berdasarkan corpus dokumen Anda.
• Mode Peringkas : Hasilkan ringkasan ringkasan topik menggunakan potongan dokumen yang paling relevan.
• Pemrosesan Dokumen : Secara otomatis menelan dan memproses dokumen, membaginya menjadi potongan yang dapat dikelola untuk penyimpanan dan pengambilan yang efisien.
• Embeddings Management : Hasilkan dan simpan embeddings untuk dokumen baru, memastikan toko vektor Anda selalu mutakhir.
• Dukungan lintas platform : Jalankan aplikasi dengan mulus pada Windows, MacOS, dan Linux.
• Praktik pengkodean yang lebih baik : Memanfaatkan konsep oops dan pola desain seperti singleton & pabrik bersama dengan praktik terbaik lainnya.
• Logging : Menggunakan logging untuk melacak aktivitas aplikasi di berbagai tingkat.
• Kaya & Pertanyaan : Perpustakaan untuk menciptakan antarmuka baris perintah yang interaktif dan menarik secara visual.

Petunjuk Pengaturan

Untuk mengatur pipa kain di mesin lokal Anda, ikuti langkah -langkah ini:

1. Instal Python 3.10+ : Unduh dan instal dari sini

2. Instal Microsoft Visual Studio C ++ Build Tools : Ini diperlukan untuk menyusun beberapa dependensi. Unduh dan instal dari sini.

3. Klon Repositori :

   git clone https://github.com/olifarhaan/rag-console-chat.git
   cd rag-console-chat

4. Instal Dependensi Python : Pastikan Anda menginstal Python 3.8+. Kemudian, buat lingkungan virtual dan instal paket yang diperlukan:

   python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   pip install -r requirements.txt

5. Mengatur Variabel Lingkungan : Buat file .env di direktori root dan tambahkan kunci API openai Anda:

    OPENAI_API_KEY=your_openai_api_key
   

6. Jalankan aplikasi : Mulai pipa kain dengan mengeksekusi:

   python app.py

7. Berinteraksi dengan aplikasi : Gunakan antarmuka baris perintah untuk memilih antara mode obrolan dan ringkasan, dan mengeksplorasi kemampuan pipa kain.

Kesimpulan

Aplikasi Obrolan Konsol Rag adalah alat sederhana namun kuat yang dirancang untuk meningkatkan pemrosesan dokumen Anda dan kemampuan pengambilan informasi. Dengan fitur canggih dan antarmuka yang ramah pengguna, ia berdiri sebagai bukti kekuatan teknologi AI modern. Selami dunia kain dan mengalami masa depan sistem informasi cerdas saat ini.

• Lisensi : Proyek ini dilisensikan di bawah lisensi MIT. Anda bebas menggunakan, memodifikasi, dan mendistribusikan perangkat lunak, asalkan lisensi asli dan pemberitahuan hak cipta termasuk dalam semua salinan atau bagian substansial dari perangkat lunak.

• Diagram : Diagram dibuat menggunakan putri duyung.

• Hubungi : Untuk pertanyaan atau umpan balik, silakan hubungi [email protected] atau pesan saya di LinkedIn @olifarhaan.