Pipa Rag (Pengambilan Augmented Generation)
- Saya telah membangun pipa kain untuk menunjukkan bagaimana kita dapat menambah pengetahuan dengan data tambahan.
Deskripsi visual pipa kain
Keterangan
- Rag adalah teknik untuk menambah pengetahuan LLM dengan data tambahan.
- LLMS dapat beralasan tentang topik yang luas, tetapi pengetahuan mereka terbatas pada data publik hingga titik waktu tertentu yang dilatih.
- Jika Anda ingin membangun aplikasi AI yang dapat beralasan tentang data pribadi atau data yang diperkenalkan setelah tanggal cutoff model, Anda perlu menambah pengetahuan model dengan informasi spesifik yang dibutuhkan.
- Proses membawa informasi yang sesuai dan memasukkannya ke dalam model prompt dikenal sebagai pengambilan augmented generasi (RAG).
Perpustakaan digunakan
- langchain == 0.1.20
- Langchain-Community == 0.0.38
- BS4 == 0.0.2
- PYPDF == 4.2.0
- chromadb == 0.5.0
Instalasi
- Prasyarat
- Git
- Keakraban baris perintah
- Klon The Repository:
git clone https://github.com/NebeyouMusie/RAG-Pipeline.git - Buat dan aktifkan lingkungan virtual (disarankan)
-
python -m venv venv -
source venv/bin/activate
- Arahkan ke
cd ./RAG-Pipeline menggunakan terminal Anda - Instal Perpustakaan:
pip install -r requirements.txt - Buka dan Jalankan Semua Sel di
rag_pipeline.ipynb Notebook - Atau Anda dapat mengunduh dokumen di direktori
files dan notebook rag_pipeline.ipynb dari direktori notebook di repositori, unggah file -file tersebut dan notebook ke Google Collab kemudian jalankan semua sel di rag_pipeline.ipynb notebook
Kolaborasi
Ucapan Terima Kasih
- Saya ingin mengucapkan terima kasih kepada Krish Naik
Kontak
