Doc Quest

DOCQUEST ?: sistem in-house retrieval-augmmented generasi (RAG)

Bagaimana kita dapat merancang dan mengoptimalkan sistem kain untuk memberikan hasil yang dipersonalisasi dan kaya referensi untuk tim sains data, sambil mengelola paket in-house, di lingkungan offline?

Untuk memecahnya lebih lanjut:

• Output yang disesuaikan dengan referensi: Selidiki bagaimana sistem RAG dapat memanfaatkan informasi khusus konteks untuk menghasilkan output yang dirancang untuk para ilmuwan data. Jelajahi metode untuk memasukkan referensi yang akurat dan relevan dalam konten yang dihasilkan.
• Sistem offline in-house: Periksa persyaratan teknis dan kendala menyebarkan sistem RAG di lingkungan offline. Menilai tantangan yang terkait dengan penyimpanan data, pemrosesan, dan pembaruan model tanpa konektivitas internet.
• Mengelola paket in-house: Menganalisis strategi untuk mengintegrasikan dan mengelola paket ilmu data hak milik dalam sistem RAG. Lihatlah masalah kompatibilitas, kontrol versi, dan manajemen ketergantungan untuk memastikan operasi dan integrasi yang mulus.

Ringkasan:

DocQuest adalah sistem generasi pengambilan-offline-augmented (RAG) yang dirancang untuk tim sains data. Ini memberikan output yang dipersonalisasi dan kaya referensi saat beroperasi di lingkungan tanpa konektivitas internet. Sistem ini sangat ideal untuk pengaturan yang aman di mana privasi data adalah yang terpenting.

Fitur:

• Operasi offline : Sistem kain yang berfungsi penuh yang berfungsi tanpa konektivitas internet
• Preprocessing dokumen lanjutan : Pipa yang kuat untuk penanganan dokumen yang efisien dan ekstraksi konten
• Penyimpanan embedding & vektor canggih : menggabungkan beberapa model embedding dan solusi penyimpanan vektor
• Pipa kain yang dioptimalkan : Termasuk pemrosesan kueri cerdas dan pengambilan dokumen presisi tinggi
• Antarmuka yang ramah pengguna : UI berbasis streamlit untuk interaksi yang mudah

Sumber Data:

Sistem mengintegrasikan dokumentasi dari berbagai sumber, termasuk:

• Panda
• Numpy
• Scikit-learn

Struktur folder:

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

Instalasi:

1. Klon Repositori:

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. Siapkan lingkungan virtual:

    python3 -m venv .venv
   source .venv/bin/activate
   

3. Instal dependensi:

    pip install -r requirements.txt
   

4. Konfigurasikan Kunci API: Atur tombol API GROQ Anda sebagai variabel lingkungan:

    export GROQ_API_KEY=your_groq_api_key
   

   Atau tambahkan langsung di file doc_quest_app.py :

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. Siapkan jalur dokumen: Pastikan jalur dokumen Anda diatur dengan benar di file doc_quest_app.py :

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

Penggunaan:

1. Luncurkan Aplikasi StreamLit:

    streamlit run doc_quest_app.py
   

2. Akses antarmuka web di URL yang disediakan oleh StreamLit (biasanya http://localhost:8501 ).

3. Gunakan antarmuka obrolan untuk mengajukan pertanyaan dan berinteraksi dengan sistem kain.

Komponen Sistem:

• Preprocessing Dokumen : Menggunakan Bshtmlloader dan Beautifulsoup untuk Ekstraksi Konten
• Model Embedding : GTE-LARGE-EN-V1.5, GTE-Large, Stella_en_400M_V5
• Penyimpanan Vektor : Chroma, Faiss
• Generasi Teks : Memanfaatkan model LLAMA-3.1-70B

Perbaikan di masa depan:

• Menerapkan penyimpanan riwayat obrolan.
• Lebih lanjut mengoptimalkan komponen pengambilan.
• Menambahkan tautan berlabuh untuk navigasi langsung ke bagian dokumen yang relevan.
• Memperkenalkan beberapa opsi pemilihan model generatif di UI.