เมื่อเร็วๆ นี้ Microsoft ได้เปิดซอร์สระบบการสร้างการเพิ่มประสิทธิภาพการดึงข้อมูลโดยใช้กราฟ - GraphRAG บนเว็บไซต์อย่างเป็นทางการ แตกต่างจากข้อจำกัดของระบบ RAG แบบดั้งเดิมที่ต้องอาศัยการดึงส่วนข้อความในเครื่องมากเกินไป GraphRAG สามารถจับการเชื่อมต่อที่ซับซ้อนและการโต้ตอบในชุดข้อมูลเพื่อให้เกิดการดึงข้อมูลทั่วโลก และดีเป็นพิเศษในการประมวลผลชุดข้อมูลขนาดใหญ่ แกนหลักอยู่ที่สองขั้นตอนในการสร้างกราฟความรู้เอนทิตีและสร้างบทสรุปของชุมชน โดยสามารถดึงข้อมูลสำคัญผ่านบทสรุปของชุมชนได้อย่างมีประสิทธิภาพ และสร้างคำตอบที่ครอบคลุมและแม่นยำยิ่งขึ้น สิ่งที่น่าสังเกตมากกว่าคือความต้องการโทเค็นของ GraphRAG นั้นต่ำมาก ซึ่งไม่ต้องสงสัยเลยว่าเป็นข้อได้เปรียบด้านต้นทุนอย่างมากสำหรับนักพัฒนา
ทางเข้าโครงการ: https://top.aibase.com/tool/graphrag
เมื่อต้องจัดการกับแหล่งข้อมูลภายนอก ระบบ RAG แบบเดิมอาศัยการดึงส่วนข้อความในเครื่องมากเกินไป และไม่สามารถจับภาพทั้งหมดของชุดข้อมูลทั้งหมดได้ GraphRAG ช่วยให้โมเดลขนาดใหญ่จับการเชื่อมต่อและการโต้ตอบที่ซับซ้อนได้ดีขึ้นในข้อความโดยการสร้างกราฟความรู้เอนทิตี ดังนั้นจึงบรรลุความสามารถในการดึงข้อมูลทั่วโลก
แกนหลักของ GraphRAG ประกอบด้วยสองขั้นตอน: การสร้างกราฟความรู้เอนทิตีและสร้างบทสรุปของชุมชน ด้วยการสรุปชุมชน GraphRAG สามารถดึงข้อมูลที่เกี่ยวข้องจากชุดข้อมูลทั้งหมดเพื่อสร้างคำตอบที่ครอบคลุมและแม่นยำยิ่งขึ้น นอกจากนี้ GraphRAG ยังมีความต้องการโทเค็นที่ต่ำมาก ซึ่งหมายความว่าสามารถช่วยนักพัฒนาประหยัดต้นทุนได้มาก
Microsoft ทำการทดสอบที่ครอบคลุมเกี่ยวกับ GraphRAG บนชุดข้อมูลที่มีโทเค็น 1 ล้านรายการและโครงสร้างที่ซับซ้อนเป็นพิเศษ ผลการวิจัยพบว่า GraphRAG เหนือกว่าวิธีการต่างๆ เช่น Naive RAG ในการทดสอบความครอบคลุมและความหลากหลาย และมีประสิทธิภาพมากขึ้นในการถอดความพอดแคสต์และข้อมูลบทความข่าว ชุดทั้งหมดได้แสดงให้เห็นถึงมาตรฐานที่สูงมากและปัจจุบันเป็นหนึ่งในวิธี RAG ที่ดีที่สุด
ไฮไลท์:
- GraphRAG ปรับปรุงการค้นหา การตอบคำถาม การสรุป การใช้เหตุผล และความสามารถอื่นๆ ของโมเดลขนาดใหญ่โดยการสร้างกราฟความรู้เอนทิตี และเก่งเป็นพิเศษในการประมวลผลชุดข้อมูลขนาดใหญ่
- แกนหลักของ GraphRAG ประกอบด้วยสองขั้นตอน: การสร้างกราฟความรู้เอนทิตีและการสร้างบทสรุปชุมชนใช้เพื่อดึงข้อมูลที่เกี่ยวข้องในชุดข้อมูลเพื่อสร้างคำตอบที่ครอบคลุมและแม่นยำยิ่งขึ้น
- GraphRAG มีความต้องการโทเค็นต่ำมาก และสามารถช่วยให้นักพัฒนาประหยัดค่าใช้จ่ายได้ ทำงานได้ดีในการทดสอบแบบครอบคลุมและเป็นหนึ่งในวิธี RAG ที่ดีที่สุดในปัจจุบัน
โดยสรุป GraphRAG ได้นำเสนอความก้าวหน้าครั้งใหม่ในด้านการสร้างการเพิ่มประสิทธิภาพการดึงข้อมูล ด้วยประสิทธิภาพที่ยอดเยี่ยมในการประมวลผลชุดข้อมูลขนาดใหญ่และความได้เปรียบด้านต้นทุนที่สำคัญ ซึ่งสมควรได้รับความสนใจและการวิจัยเพิ่มเติม โอเพ่นซอร์สยังมอบทรัพยากรและเครื่องมืออันทรงคุณค่าให้กับนักพัฒนาอีกด้วย