local rag qa engine

Dokumen Aman Berbasis Rag Lokal Mesin QA

Instalasi

Kloning repo:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

Instal dependensi (membutuhkan puisi):

poetry install

Ambil llm Anda (llama3.2: 1b secara default):

ollama pull llama3.2:1b

Jalankan server ollama

ollama serve

Mulai Ragbase:

poetry run streamlit run app.py

Konsestor

Mengekstrak teks dari dokumen PDF dan membuat potongan (menggunakan splitter semantik dan karakter) yang disimpan dalam databse vektor

Retriever

Diberikan kueri, cari dokumen serupa, reranks hasilnya dan menerapkan filter rantai LLM sebelum mengembalikan respons.

Rantai QA

Menggabungkan LLM dengan retriever untuk menjawab pertanyaan pengguna yang diberikan

Tumpukan teknologi

• Ollama - Jalankan LLM Lokal
• Langchain - Bangun aplikasi bertenaga LLM
• Qdrant - Pencarian/Basis Data Vektor
• Flashrank - Reranking cepat
• Fastembed - generasi penyematan yang ringan dan cepat
• StreamLit - Bangun UI untuk aplikasi data
• PDFIUM - Pemrosesan PDF dan ekstraksi teks