Fland Sung นักวิจัยทางด้านมืดของดวงจันทร์เพิ่งตีพิมพ์บทความยาว 10,000 คำซึ่งเปิดเผยแนวคิดการวิจัยและพัฒนาของโมเดล K1.5 เป็นครั้งแรก แบบอย่าง. การเปิดเผยนี้ไม่เพียง แต่เผยให้เห็นความคืบหน้าล่าสุดของด้านมืดของดวงจันทร์ในด้านปัญญาประดิษฐ์ แต่ยังให้การอ้างอิงทางเทคนิคที่มีคุณค่าแก่อุตสาหกรรม
Fland Sung ที่กล่าวถึงในบทความว่าความสำคัญของความยาวของคอตยาว (การคิดโซ่ยาว) ได้รับการตรวจสอบโดย Tim Zhou Xinyu ผู้ร่วมก่อตั้งด้านมืดของดวงจันทร์มากกว่าหนึ่งปีที่ผ่านมา ด้วยการใช้โมเดลขนาดเล็กเพื่อฝึกการดำเนินการหลายหลักและแปลงกระบวนการคำนวณที่ละเอียดเป็นข้อมูลการคิดแบบโซ่ยาวสำหรับ SFT (การปรับแต่งอย่างละเอียด) ทีมได้รับผลลัพธ์ที่สำคัญ การค้นพบนี้ให้พื้นฐานทางทฤษฎีที่สำคัญสำหรับการเพิ่มประสิทธิภาพแบบจำลองที่ตามมา
อย่างไรก็ตามเนื่องจากข้อ จำกัด ด้านต้นทุนด้านมืดของดวงจันทร์ได้มุ่งเน้นไปที่การเพิ่มประสิทธิภาพของบริบทที่ยาว (อินพุตข้อความยาว) Fland Sung อธิบายว่าบริบทที่ยาวนานเป็นส่วนใหญ่ประมวลผลอินพุตและผ่านเทคโนโลยีการเติมก่อนและเค้กล่วงหน้าล่วงหน้าทีมสามารถควบคุมค่าใช้จ่ายและความเร็วได้ดีขึ้น ในทางตรงกันข้าม COT ยาวมุ่งเน้นไปที่เอาต์พุตมากขึ้นและในขณะที่มันมีความสำคัญมันต้องใช้ค่าใช้จ่ายที่สูงขึ้นและเวลาในการประมวลผลที่ยาวนานขึ้นซึ่ง จำกัด การใช้งานในระดับหนึ่ง
อย่างไรก็ตามการเปิดตัวโมเดล OpenAI O1 ทำให้ทีม Dark Side สามารถคิดใหม่ลำดับความสำคัญของทิศทางทางเทคนิค Fland Sung เน้น: "ประสิทธิภาพเป็นสิ่งที่สำคัญที่สุดต้นทุนและความเร็วจะได้รับการปรับให้เหมาะสมอย่างต่อเนื่องด้วยความก้าวหน้าทางเทคโนโลยีกุญแจสำคัญคือการบรรลุประสิทธิภาพการพัฒนาก่อน" -การวิจัยคอต การปรับเชิงกลยุทธ์นี้นับเป็นการพัฒนาเพิ่มเติมสำหรับทีมในด้านปัญญาประดิษฐ์
การเปิดตัวบทความการถอดรหัสทางเทคนิคนี้ไม่เพียง แต่บ่งบอกว่าด้านมืดของดวงจันทร์ได้เริ่มทำการเปรียบเทียบแบบจำลอง O1 ของ OpenAi อย่างเป็นระบบ แต่ยังดำเนินการวิจัยที่สำคัญในสาขาที่เกี่ยวข้อง บทความที่ยาวนานของ Fland Sung ให้ข้อมูลเชิงลึกด้านเทคนิคเชิงลึกและให้แนวคิดใหม่สำหรับทิศทางการวิจัยในอนาคต
สำหรับผู้อ่านที่ต้องการมีความเข้าใจในเชิงลึกเกี่ยวกับกระบวนการแตกของโมเดล O1 บทความยาว 10,000 คำของ Flood Sung สามารถเข้าถึงได้ผ่านลิงก์ต่อไปนี้: การถอดรหัสบทความยาว 10,000 คำของกระบวนการแคร็ก O1