RAG Architecture

? Multimodal Document Processing Rag dengan Langchain?

Proyek ini adalah aplikasi yang diuntungkan untuk memproses dokumen multimoda dan menanyakan database Milvus . Ini memanfaatkan alat-alat mutakhir seperti Langchain , Transformers , Easyocr , dan lainnya untuk memproses, menyimpan, dan meminta teks yang diekstraksi dari berbagai jenis file.

---

Fitur

Unggah Pemrosesan File :

• Mendukung banyak jenis file: audio , video , image , text , csv , yaml , json , docx , dan pdf .
• Mengekstrak konten teks menggunakan:
  • ? Audio : speech_recognition dan pydub .
  • ? Video : Logika Ekstraksi Kustom.
  • ? ️ Gambar : EasyOCR .
  • ? Teks/Log/Dokumen : Langchain Loaders.

Integrasi Milvus :

• ? ️ Toko embeddings dokumen yang diproses untuk kueri berbasis kesamaan.
• ? Memanfaatkan HuggingFaceEmbeddings untuk menghasilkan representasi vektor.

? Antarmuka kueri :

• Antarmuka kueri bahasa alami.
• Mengimplementasikan pipa generasi pengambilan (RAG) pengambilan untuk respons yang digerakkan AI.

---

Instalasi

? Prasyarat

• Python 3.8+
• Manajer Paket pip atau conda
• GPU yang kompatibel dengan CUDA (opsional, untuk pemrosesan lebih cepat)

? Garpu dan klon repositori

1. Fork The Repository : Navigasikan ke repositori gitub rag-arsitektur dan klik garpu .

2. Klon The Forked Repository :

   git clone https://github.com/ < your-username > /RAG-Architecture.git
   cd RAG-Architecture
   

? Instal dependensi

pip install -r requirements.txt

Penggunaan

Mulai aplikasi

Jalankan aplikasi streamLit:

streamlit run app.py

Mode aplikasi

? Unggah file:

• Unggah file untuk memproses dan menyimpan kontennya di Milvus.
• Menampilkan konten yang diekstraksi dan penyimpanan embeddings dalam database.

❓ Kueri:

• Masukkan pertanyaan untuk mencari dan mengambil informasi yang relevan dari database Milvus.
• Mengembalikan respons yang dihasilkan AI menggunakan pipa kain Langchain.

? Struktur file

 # # ? **File Structure**

` ` ` bash
project/
│
├── app.py                      #  Main Streamlit application
├── requirements.txt            # ? Python dependencies
├── utils/                      #  Utility modules
│   ├── audio_utils.py          # ? Audio file processing
│   ├── video_utils.py          # ? Video file processing
│   ├── image_utils.py          # ?️ Image file processing
│   ├── document_loaders.py     #  Document processing loaders
│   ├── milvus_client.py        # ?️ Initializes Milvus database
│
├── milvus_database.db          # ?️ Milvus database file (auto-created)
├── Dataset                     #  Folder to store datasets
├── Images                      # ? Folder for storing images

? Modul kunci

app.py

? Logika Aplikasi Utama

• Menangani unggahan file, pemrosesan dokumen, dan kueri.

utils/

• ? Audio : Membagi audio menjadi potongan -potongan dan menyalin teks.
• ? Video : Memproses file video untuk mengekstrak dan menganalisis konten.
• ? ️ Gambar : Menggunakan Easyocr untuk mengekstraksi teks.
• Log/Dokumen : memproses file CSV, YAML, JSON, dan PDF ke dalam dokumen Langchain terstruktur.

---

Contoh alur kerja

? Mengunggah file

1. Pilih mode "Unggah File" .
2. Unggah file (misalnya, example.pdf ).
3. Memproses dan menyimpan file dalam database.

❓ Meminta database

1. Pilih mode "kueri" .
2. Masukkan pertanyaan bahasa alami.
3. Menerima tanggapan yang ringkas dan berbasis fakta.

---

? Perbaikan di masa depan

• ? Tambahkan kemampuan kueri yang lebih canggih.
• Tingkatkan dukungan untuk jenis file tambahan dan embeddings.
• ⚡ Tingkatkan skalabilitas untuk set data yang lebih besar.

---

Lisensi Proyek ini dilisensikan di bawah lisensi MIT .

---

? Ucapan Terima Kasih

• Streamlit untuk UI interaktif.
• Langchain dan Milvus untuk pemrosesan dokumen, pengambilan dan vektor DB.
• ? Transformer untuk Generasi Menanamkan.
• ? ️ Easyocr untuk ekstraksi teks gambar.
• ? Moviepy untuk pemrosesan video.