custom rag app

Aplikasi Rag Kustom

Umum

Aplikasi yang menggunakan streamlit untuk menawarkan antarmuka yang ramah pengguna untuk membuat pipa kain. Aplikasi ini memungkinkan pengguna untuk mengunggah Fies PDF -nya sendiri, yang kemudian diproses dan disimpan dalam database vektor baru (atau yang sudah ada).

Pengguna kemudian dapat meminta database, dan menerima respons paling relevan yang dihasilkan dari model LLM. LLM yang kami pilih untuk digunakan adalah model Gemma: 2b, dan untuk model penyajian kami menggunakan ollama.

Aplikasi ini juga menawarkan kemampuan untuk menghapus database yang ada, meskipun saat ini fungsi ini terbatas untuk Windows.

Pengaturan

Untuk menjalankan aplikasi, pertama -tama Anda perlu mengkloning repositori ini. Ini bisa dilakukan dengan perintah:

git clone https://github.com/Jimlibo/custom-rag-app.git

Setelah Anda mengkloning repositori, Anda dapat menavigasi ke direktori aplikasi:

 cd custom-rag-app

Jalankan menggunakan Docker

Jika Anda memiliki Docker dan Docker-Compose terpasang, Anda dapat menjalankan aplikasi dengan perintah berikut:

docker-compose up

Jalankan menggunakan streamlit

Jika Anda tidak menginstal Docker, Anda dapat menginstal paket yang diperlukan dari persyaratan.txt dan kemudian menjalankan aplikasi melalui streamLit. Ini dapat dilakukan dengan perintah berikut:

 cd src
pip install -r requirements.txt
streamlit run app.py

Untuk menjalankan inferensi pada LLM, Anda juga harus menjalankan layanan Ollama. Jika ini adalah pertama kalinya Anda menjalankan aplikasi, Anda harus menarik model Gemma: 2B dari repositori Ollama sebelum menyajikannya. Untuk menarik model, buka terminal lain dan jalankan perintah:

ollama pull gemma:2b

Untuk melayani model, jalankan:

ollama serve

️ Jika aplikasi tidak terbuka secara otomatis, Anda dapat menavigasi ke http: // localhost: 8501/di browser pilihan Anda.

Lisensi

Didistribusikan di bawah lisensi MIT. Lihat lisensi untuk informasi lebih lanjut.