ในสาขาปัญญาประดิษฐ์ (AI) แม้ว่าแบบจำลองภาษาขนาดใหญ่ (LLMS) ทำงานได้ดีในการประมวลผลภาษาธรรมชาติ แต่พวกเขามักจะดูไร้ยางอายเมื่อเผชิญกับงานอนุมานที่ซับซ้อน งานเหล่านี้มักจะเกี่ยวข้องกับการใช้เหตุผลหลายขั้นตอนความรู้เฉพาะโดเมนหรือการรวมเครื่องมือภายนอกที่มีประสิทธิภาพ เพื่อเอาชนะข้อ จำกัด เหล่านี้นักวิจัยได้สำรวจวิธีเพิ่มขีดความสามารถของ LLM ผ่านการใช้เครื่องมือภายนอก
วิธีการเพิ่มประสิทธิภาพแบบดั้งเดิมมักจะต้องมีการปรับจูนหรือการฝึกอบรมเพิ่มเติมของแบบจำลองซึ่งนำไปสู่ข้อ จำกัด ในการปรับตัวและความยืดหยุ่น เฟรมเวิร์กที่มีอยู่มีแนวโน้มที่จะพึ่งพาชุดเครื่องมือคงที่ที่กำหนดไว้ล่วงหน้าขาดการเลือกเครื่องมือที่มีประสิทธิภาพและกลไกการวางแผนซึ่งสามารถทำให้เกิดข้อผิดพลาดได้อย่างง่ายดายเมื่อทำงานเพิ่มค่าใช้จ่ายในการคำนวณและมีประสิทธิภาพต่ำกว่าเมื่อนำไปใช้กับฟิลด์ใหม่
เพื่อแก้ปัญหานี้ทีมวิจัยที่ Stanford University ได้เปิดตัว Octotools ซึ่งเป็นกรอบใหม่ที่ออกแบบมาเพื่อเพิ่มความสามารถในการอนุมานของ AI ผ่านเครื่องมือภายนอกที่มีโครงสร้างแบบไดนามิก Octotools เป็นเฟรมเวิร์กแบบแยกส่วนที่ไม่สามารถฝึกอบรมได้และปรับขนาดได้ซึ่งเป็นมาตรฐานว่าโมเดล AI โต้ตอบกับเครื่องมือภายนอกได้อย่างไร ซึ่งแตกต่างจากเฟรมเวิร์กก่อนหน้านี้ที่ต้องใช้การกำหนดค่าเครื่องมือที่กำหนดไว้ล่วงหน้า Octotools แนะนำ "การ์ดเครื่องมือ" ที่ห่อหุ้มฟังก์ชั่นและข้อมูลเมตาของเครื่องมือทำให้โมเดล AI สามารถรวมและใช้เครื่องมือได้อย่างมีประสิทธิภาพมากขึ้น
กระบวนการดำเนินการของ Octotools แบ่งออกเป็นสามขั้นตอนสำคัญ: การวางแผนการดำเนินการและการตรวจสอบ ขั้นแรกให้ผู้วางแผนวิเคราะห์การสืบค้นผู้ใช้และกำหนดเครื่องมือที่จำเป็นตามข้อมูลเมตาในการ์ดเครื่องมือ จากนั้นผู้บริหารจะแปลงการตัดสินใจระดับสูงเป็นคำสั่งที่เรียกใช้งานได้และเรียกใช้ตามลำดับเพื่อให้แน่ใจว่าผลลัพธ์ระดับกลางได้รับการประมวลผลอย่างถูกต้อง ในที่สุดผู้ตรวจสอบจะประเมินความสอดคล้องของเอาต์พุตเพื่อให้แน่ใจว่ามันตรงกับการสืบค้นต้นฉบับซึ่งจะช่วยลดข้อผิดพลาด
ทีมวิจัยทำการประเมินอย่างกว้างขวางของ octotools ในหลายสาขารวมถึงการมองเห็นการให้เหตุผลทางคณิตศาสตร์การวิเคราะห์ทางวิทยาศาสตร์และการใช้งานทางการแพทย์ ผลการวิจัยพบว่า Octotools ดีกว่าเฟรมเวิร์ก AI ที่มีอยู่อย่างมีนัยสำคัญโดยเฉพาะอย่างยิ่งในงานการใช้เหตุผลทางคณิตศาสตร์โดยเพิ่มความแม่นยำ 22.5% ในการใช้งานทางการแพทย์ Octotools ประสบความสำเร็จเพิ่มขึ้นอย่างแม่นยำ 20.7%แสดงให้เห็นถึงประสิทธิภาพในการวินิจฉัย AI-AI-AI-AIG ในโลกแห่งความเป็นจริง
Octotools ไม่ต้องการการฝึกอบรมเพิ่มเติมการปรับปรุงความแม่นยำของการอนุมาน AI อย่างมีนัยสำคัญโดยมีการเพิ่มขึ้นเฉลี่ย 9.3% เฟรมเวิร์กสนับสนุนงานการอนุมานสูงสุด 16 งานรวมถึงการวิเคราะห์ด้วยภาพการดำเนินการทางคณิตศาสตร์การให้เหตุผลทางการแพทย์ ฯลฯ ระบบการ์ดเครื่องมือของ Octotools ทำให้การรวมเครื่องมือเพิ่มประสิทธิภาพกระบวนการตัดสินใจและปรับปรุงประสิทธิภาพการดำเนินการ
GitHub: https://github.com/octotools/octotools