Peningkatan-RAG-Architecture
Menggunakan langchain sebagai kerangka kerja yang meningkatkan arsitektur kain dari proyek saya sebelumnya, seperti
- Daripada menjalankan model lokal. Saya lebih suka menggunakan API dari Together.ai jadi saya tidak menghancurkan laptop saya dalam melakukannya. (Mereka juga memberikan model yang lebih baik sehingga hasil dari prompt lebih baik). Saya juga bisa menyetel parameter LLM untuk hasil yang lebih baik atau mungkin pemilihan model untuk kasus penggunaan spesifik saya.
- Memperbaiki masalah chunking dengan menggunakan LLM (semantik chunker) sebagai chunker daripada chunking manual.
- Tulis ulang kueri menggunakan LLM sebelum mengubahnya menjadi vektor untuk tujuan pengambilan untuk pengambilan yang lebih baik.
- Menggunakan pencarian semantik (konteks) dan pencarian leksikal (kata kunci) untuk vektor DB, yaitu FAISS (pencarian kesamaan AI Facebook).
- Reranking+Algoritma AutoCut Setelah pengambilan untuk output yang lebih baik.
Ragas juga dapat diimplementasikan dalam proyek ini, pembandingan arsitektur kain ada metode kain lain yang sangat saya minati seperti Graphrag.
Ps
- Chunker semantik saya menjalankan verrry lambat, saya sarankan Anda hanya menggunakan splitter teks normal dengan ukuran tetap dan tumpang tindih untuk kinerja yang lebih cepat
- Jika Anda tidak ingin meng -host DB di lokal, Anda dapat menggunakan layanan seperti Pinecone atau MongoDB Atlas dan membuat cluster
- Saya menyarankan Anda untuk menggunakan model lain untuk inferensi dan penulis ulang, temukan yang terbaik untuk usecase Anda
Skibidi Sigma Rizz +1000 Aura
