Seedly Articles RAG
1.0.0
Dalam proyek ini, saya membangun lap di LLAMA3-70B-8192 LLM, diakses menggunakan API GROQ. Dokumen -dokumen yang digunakan untuk RAG diambil melalui Webscrapping dari Blog Seed, yang berisi artikel tentang keuangan pribadi. Artikel yang saya ambil sebagian besar tentang membeli properti di Singapura dan polis asuransi. Tujuannya adalah untuk mengembangkan model bahasa yang lebih sadar secara kontekstual dan mampu menjawab pertanyaan yang terkait dengan keuangan pribadi dalam konteks Singapura.
Saya menggunakan scapy untuk mengikis artikel, model all-minilm-L6-V2 untuk konversi potongan teks menjadi embeddings, dan faiss vector store untuk penyimpanan teks dan pengambilan. Akhirnya, saya menggunakan Langchain untuk menghubungkan semua komponen yang berbeda, dari pengambilan potongan teks untuk mendorong penataan dan rantai untuk mencapai output yang diinginkan.
Output akhir dihasilkan dengan merantai dua prompt, yang pertama merangkum konteks yang disediakan (3 bagian teratas paling mirip dengan potongan teks dengan pertanyaan yang diajukan pengguna), dan yang kedua untuk menghasilkan respons aktual. Ini untuk memastikan prompt yang digunakan untuk menghasilkan respons tidak menjadi terlalu lama (jika berisi potongan teks panjang penuh sebagai konteks), memungkinkan lebih banyak konteks disediakan untuk LLM.
Chaining of Prompts berfungsi seperti yang diharapkan, dengan ringkasan potongan teks berhasil ditambahkan ke prompt kedua. Kinerja Pipeline bervariasi tergantung pada kualitas dokumen konteks yang disediakan.
Melakukan proyek ini, saya belajar cara mengimplementasikan kain menggunakan langchain, cara menghubungkan LLM dengan templat yang cepat dan rantai cepat menggunakan bahasa ekspresi Langchain (LCEL), dan cara menggunakan toko vektor dan fungsi penyematan bersama dengan langchain. Saya percaya konsep dasar pengembangan aplikasi LLM ini akan memungkinkan saya untuk membangun aplikasi LLM yang lebih kompleks di masa depan.
