airgapped offfline rag

Rag offline Airgapped

Proyek ini oleh Vincent KOC mengimplementasikan sistem penurunan tanya jawab berbasis pengambilan (RAG) untuk dokumen. Ini menggunakan model Llama 3, Mistral, dan Gemini untuk inferensi lokal dengan LLAMA C ++, Langchain untuk orkestrasi, ChromadB untuk penyimpanan vektor, dan learnlit untuk antarmuka pengguna.

Daftar isi

• Rag offline Airgapped
  • Daftar isi
  • Pengaturan
  • Menjalankan aplikasi
    • Secara lokal
    • Menggunakan Docker
  • Penggunaan
  • Konfigurasi
  • Fitur
    • Fitur yang didukung
    • Fitur masa depan
  • Berkontribusi
  • Lisensi
  • Ucapan Terima Kasih

Pengaturan

1. Pastikan Python 3.9 diinstal : Anda dapat menggunakan pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Buat lingkungan virtual dan instal dependensi :

    make setup
   

3. Model Unduh : Unduh model LLAMA 3 (8B) dan Mistral (7B) dalam format GGUF dan tempatkan di models/ direktori. TheBloke on Hugging Face telah berbagi model di sini:

   • MISTRAL-7B-INSTRUCT-V0.2-GGUF
   • Llama-pro-8b-instruct-gguf

   Model -model dari unsloth juga telah diuji dan dapat ditemukan di sini:

   • GEMMA-2-2B-IT.Q2_K.GGUF
   • LLAMA-3.2-3B-INSTRUCT-Q2_K.GGUF

4. Model Transformer Kalimat Qdrant : Ini akan diunduh secara otomatis pada menjalankan pertama. Jika menjalankan rag aergapped secara lokal, yang terbaik adalah menjalankan basis kode dengan akses internet awalnya untuk mengunduh model.

Menjalankan aplikasi

Secara lokal

 make run

Menggunakan Docker

 make docker-build
make docker-run

Penggunaan

1. Unggah dokumen PDF menggunakan pengunggah file.
2. Pilih model yang ingin Anda gunakan (misalnya, Mistral).
3. Masukkan pertanyaan Anda di input teks.
4. Klik "Hasilkan Jawaban" untuk mendapatkan respons berdasarkan konten dokumen.

Konfigurasi

Sesuaikan pengaturan di config.yaml untuk memodifikasi jalur model, ukuran chunk, dan parameter lainnya.

Fitur

Fitur yang didukung

• Inferensi lokal dengan llama C ++
• Dukungan Model untuk Llama 3 (3 dan 3.1)
• Dukungan model untuk Mistral
• Dukungan model untuk Gemini
• Dukungan untuk model terkuantisasi
• Unggah dan pemrosesan dokumen
• Sistem Permintaan-Permintaan
• Model transformator kalimat untuk penyimpanan vektor
• Integrasi dengan Streamlit untuk UI
• Dukungan untuk respons streaming

Fitur masa depan

• Integrasi dengan model tambahan (segera hadir)
• Mendukung dokumen non-PDF (segera hadir)
• Dukungan untuk dokumen gambar (segera hadir)
• Dukungan untuk memvisualisasikan embeddings (segera hadir)
• Dukungan untuk riwayat obrolan (segera hadir)
• Antarmuka pengguna yang disempurnakan (segera hadir)
• Dukungan untuk dokumen multi-modal (segera hadir)
• Mengekspor dan mengimpor konfigurasi kain (segera hadir)
• Mengekspos API istirahat (segera hadir)
• Observabilitas (segera hadir)

Berkontribusi

Kontribusi dipersilakan! Harap bayar repositori dan kirimkan permintaan tarik. Untuk perubahan besar, buka masalah terlebih dahulu untuk membahas apa yang ingin Anda ubah.

Lisensi

Proyek ini dilisensikan di bawah GNU General Public License v3.0 (GPLV3). Lihat file lisensi untuk detailnya.

Ini berarti:

• Anda dapat menggunakan, memodifikasi, dan mendistribusikan perangkat lunak ini dengan bebas.
• Jika Anda memodifikasi atau memperluas perangkat lunak ini, Anda harus melepaskan perubahan di bawah GPL.
• Anda harus menyertakan pemberitahuan hak cipta asli dan teks lengkap lisensi GPL.
• Tidak ada jaminan untuk perangkat lunak gratis ini.

Untuk informasi lebih lanjut, kunjungi GNU GPL v3.

Ucapan Terima Kasih

• Terima kasih kepada TheBloke dan ketidakteraturan untuk berbagi model yang dikuantisasi.
• Proyek ini menggunakan berbagai perpustakaan open-source. Lihat persyaratan.txt untuk detailnya.