การปรับปรุงสถาปัตยกรรม
การใช้ Langchain เป็นเฟรมเวิร์กปรับปรุงสถาปัตยกรรมผ้าขี้ริ้วจากโครงการก่อนหน้าของฉันเช่น
- แทนที่จะใช้แบบจำลองท้องถิ่น ฉันอยากจะใช้ API จากด้วยกันดังนั้นฉันจึงไม่ทำลายแล็ปท็อปของฉันในการทำเช่นนั้น (พวกเขายังให้แบบจำลองที่ดีกว่าดังนั้นผลลัพธ์ของพรอมต์นั้นดีกว่า) ฉันยังสามารถปรับพารามิเตอร์ของ LLM เพื่อผลลัพธ์ที่ดีกว่าหรืออาจเลือกรุ่นสำหรับกรณีการใช้งานเฉพาะของฉัน
- การแก้ไขปัญหาการถ่ายทำโดยใช้ LLM (semantic chunker) เป็น chunker มากกว่า chunking ด้วยตนเอง
- เขียนแบบสอบถามใหม่โดยใช้ LLM ก่อนที่จะเปลี่ยนเป็นเวกเตอร์เพื่อการดึงเพื่อการดึงข้อมูลที่ดีขึ้น
- การใช้ทั้ง Semantic Search (บริบท) และการค้นหาคำศัพท์ (คำหลัก) สำหรับเวกเตอร์ DB ซึ่งเป็น FAISS (การค้นหาความคล้ายคลึงกันของ Facebook AI)
- Reranking+อัลกอริทึม Autocut หลังจากการดึงข้อมูลเพื่อเอาต์พุตที่ดีขึ้น
Ragas สามารถนำไปใช้ในโครงการนี้ได้ซึ่งเป็นการเปรียบเทียบสถาปัตยกรรม RAG มีวิธีการอื่น ๆ ของ RAG ที่ฉันสนใจเช่น Graphrag
ps
- ความหมายของฉัน chunker run verrry ช้าฉันแนะนำให้คุณใช้ตัวแยกข้อความปกติที่มีขนาดคงที่และซ้อนทับเพื่อประสิทธิภาพที่เร็วขึ้น
- หากคุณไม่ต้องการโฮสต์ DB ในท้องถิ่นคุณสามารถใช้บริการเช่น Pinecone หรือ MongoDB Atlas และสร้างคลัสเตอร์
- ฉันแนะนำให้คุณใช้โมเดลอื่น ๆ สำหรับการอนุมานและผู้เขียนให้ค้นหาสิ่งที่ดีที่สุดสำหรับ USECASE ของคุณ
Skibidi Sigma Rizz +1000 Aura