research assistant rag fusion

Aplikasi Fusion Generasi Pengambilan Offline (Rag-Fusion) dengan Ollama, Langchain, Llama3-8b, Faiss dan Mistral-7b

Kertas referensi - https://arxiv.org/pdf/2402.03367

Proyek ini mengimplementasikan aplikasi fusi rag offline lengkap untuk pembuatan teks dan pengambilan, memanfaatkan sumber daya lokal yang efisien.

• Operasi offline: Berjalan sepenuhnya tanpa konektivitas internet, ideal untuk skenario dengan akses jaringan yang terbatas atau tidak dapat diandalkan.
• Nol Biaya: Memanfaatkan alat sumber terbuka yang tersedia secara bebas, meminimalkan biaya infrastruktur.
• Ollama dengan LLAMA3-8B LLM: Mempekerjakan Ollama untuk eksekusi offline model bahasa besar LLAMA3 yang kuat, memungkinkan pembuatan teks yang efektif.
• Database Vektor FAISS: Memanfaatkan FAISS, database vektor offline berkinerja tinggi, untuk secara efisien menyimpan dan mengambil embeddings dokumen.
• Hugging Face Embeddings: Mengintegrasikan embeddings pra-terlatih dari memeluk wajah untuk representasi semantik data tekstual.
• MultiqueryRetriever: Mengotomatiskan proses penyetelan cepat dengan menggunakan LLM untuk menghasilkan banyak kueri dari berbagai perspektif untuk kueri input pengguna yang diberikan.

Memulai

Jalankan perintah berikut di terminal Anda.

Kloning repositori ini.

 git clone https://github.com/RionDsilvaCS/research-assistant-rag-fusion.git

Pasang dependensi yang diperlukan (pastikan Anda berada di dalam dir dir)

 pip install -r requirements.txt

Untuk membuat DB vektor Anda sendiri

 cd DB

Konfigurasikan Pengaturan Proyek Pastikan Anda menjalankan Ollama di perangkat Anda. https://ollama.com/download

https://ollama.com/library/llama3

https://ollama.com/library/mistral

Sekarang Everthying siap dijalankan

 cd APP

 streamlit run app.py

Pipa fusi rag offline

Meningkatkan efisiensi penelitian Anda dengan manfaat yang kuat ini:

Asisten Peneliti Bertenaga Rag-Fusion ini menawarkan banyak keuntungan untuk meningkatkan permainan penelitian Anda:

• Akurasi dan komprehensif yang ditingkatkan: Fusion RAG memastikan pertanyaan Anda mengambil informasi yang paling relevan dari corpus penelitian Anda, menumbuhkan pemahaman yang lebih dalam tentang materi pelajaran Anda.
• Memicu Jalan Penelitian Baru: Generasi Multiquery dengan Langchain membantu Anda mengungkap koneksi tersembunyi dan mengeksplorasi beragam perspektif, yang mengarah pada kemungkinan penelitian yang inovatif.
• Alur kerja tanpa gangguan: Bekerja secara offline! Vector Store menjaga data penelitian Anda mudah diakses, menghilangkan kebutuhan akan koneksi internet.
• Solusi hemat biaya: Semua teknologi yang digunakan dalam proyek ini adalah open-source, menjadikan ini alat penelitian yang kuat tanpa biaya lisensi.
• Peningkatan produktivitas penelitian: merampingkan proses penelitian Anda dengan mengambil informasi yang relevan dengan mudah dan mendapatkan wawasan baru, membebaskan waktu yang berharga untuk analisis dan eksplorasi.
• Inspirasi offline: Asisten peneliti ini menjadi teman konstan Anda, siap untuk memicu inspirasi dan memandu perjalanan penelitian Anda bahkan tanpa koneksi internet.

Manfaat -manfaat ini menggabungkan peneliti memberdayakan untuk mencapai efisiensi yang lebih besar, membuka kunci jalan penelitian baru, dan pada akhirnya memberikan kontribusi yang signifikan bagi bidangnya.

---

Ikuti saya

Github @rionDsilvacs · linkedIn @rion dsilva · twitter @rion_dsilva_cs