ในช่วงไม่กี่ปีที่ผ่านมาการปรับปรุงประสิทธิภาพของโมเดลภาษาขนาดใหญ่ (LLM) ส่วนใหญ่อาศัยการขยายตัวของสเกลนั่นคือการเพิ่มปริมาณข้อมูลและกำลังการคำนวณ อย่างไรก็ตามรุ่นนี้ค่อยๆไปถึงคอขวด ผู้เชี่ยวชาญในอุตสาหกรรมชี้ให้เห็นว่าเป็นการยากที่จะสร้างความก้าวหน้าอย่างมีนัยสำคัญเพียงแค่พึ่งพากลยุทธ์ "ใหญ่และดีกว่า" และความก้าวหน้าทางเทคโนโลยีใหม่กำลังใกล้เข้ามา บทความนี้จะสำรวจความท้าทายที่เผชิญกับฟิลด์ AI ในปัจจุบันและเทคโนโลยี "การคำนวณเวลาทดสอบ" ที่เกิดขึ้นใหม่สามารถนำทิศทางใหม่ไปสู่การพัฒนาของ AI ได้อย่างไร
ด้วยการพัฒนาอย่างรวดเร็วของการกำเนิด AI การรับรู้แบบดั้งเดิมของอุตสาหกรรม "ใหญ่กว่าดีกว่า" กำลังเปลี่ยนแปลง นักวิทยาศาสตร์ AI ชั้นนำหลายคนเพิ่งกล่าวว่าวิธีการปรับปรุงประสิทธิภาพ AI โดยการเพิ่มปริมาณข้อมูลและพลังการคำนวณกำลังเข้าใกล้คอขวดและการพัฒนาทางเทคโนโลยีใหม่กำลังเกิดขึ้น
Ilya Sutskever ผู้ร่วมก่อตั้ง Safe Superintelligence และ Openai เพิ่งแสดงความคิดเห็นของเขาว่าวิธีการฝึกอบรมก่อนการฝึกอบรมแบบดั้งเดิมได้เข้าสู่ช่วงเวลาแพลตฟอร์มประสิทธิภาพ คำแถลงนี้เป็นที่สะดุดตาเป็นพิเศษเพราะมันเป็นวิธีการฝึกอบรมล่วงหน้าขนาดใหญ่ที่เขาสนับสนุนในวันแรก ๆ ที่ให้กำเนิด CHATGPT วันนี้เขากล่าวว่าสาขาของ AI ได้ย้ายจาก "ยุคสมัยของการขยายตัวของขนาด" ไปสู่ "ยุคสมัยของปาฏิหาริย์และการค้นพบ"
ปัจจุบันการฝึกอบรมแบบจำลองขนาดใหญ่ต้องเผชิญกับความท้าทายหลายประการ: ค่าใช้จ่ายในการฝึกอบรมหลายสิบล้านดอลลาร์ความเสี่ยงของความล้มเหลวของฮาร์ดแวร์ที่เกิดจากความซับซ้อนของระบบวงจรการทดสอบที่ยาวนานและข้อ จำกัด เกี่ยวกับทรัพยากรข้อมูลและการจัดหาพลังงาน คำถามเหล่านี้กระตุ้นให้นักวิจัยสำรวจเส้นทางเทคโนโลยีใหม่
ในหมู่พวกเขาเทคโนโลยี "การคำนวณเวลาทดสอบ" ได้ดึงดูดความสนใจอย่างกว้างขวาง วิธีการนี้ช่วยให้โมเดล AI สามารถสร้างและประเมินโซลูชันหลายวิธีแบบเรียลไทม์ระหว่างการใช้งานแทนที่จะให้คำตอบเดียวโดยตรง นักวิจัยของ Openai Noam Brown สร้างภาพเปรียบเทียบ: ปล่อยให้ AI คิดเป็นเวลา 20 วินาทีในการ์ดเล่นซึ่งเทียบได้กับการขยายขนาดของแบบจำลองและเวลาฝึกอบรม 100,000 ครั้ง
ปัจจุบันห้องปฏิบัติการ AI ชั้นนำหลายแห่งรวมถึง Openai, Manthropic, Xai และ DeepMind กำลังพัฒนาเทคโนโลยีที่เกี่ยวข้องอย่างแข็งขัน OpenAI ได้ใช้เทคโนโลยีนี้ในรูปแบบล่าสุด "O1" และหัวหน้าเจ้าหน้าที่ผลิตภัณฑ์ Kevin Weil กล่าวว่าด้วยวิธีการที่เป็นนวัตกรรมเหล่านี้พวกเขาได้เห็นโอกาสจำนวนมากในการปรับปรุงประสิทธิภาพของแบบจำลอง
ผู้เชี่ยวชาญในอุตสาหกรรมเชื่อว่าการเปลี่ยนแปลงเส้นทางเทคโนโลยีนี้อาจปรับเปลี่ยนแนวการแข่งขันของอุตสาหกรรม AI ทั้งหมดและเปลี่ยนโครงสร้างอุปสงค์ของ บริษัท AI สำหรับทรัพยากรต่าง ๆ นี่เป็นเครื่องหมายว่าการพัฒนา AI กำลังเข้าสู่ขั้นตอนใหม่ที่มุ่งเน้นการปรับปรุงคุณภาพมากกว่าการขยายขนาด
กล่าวโดยย่อการเพิ่มขึ้นของเทคโนโลยีใหม่ ๆ เช่น "การคำนวณเวลาทดสอบ" นับเป็นขั้นตอนใหม่ในการพัฒนา AI นั่นคือให้ความสำคัญกับการปรับปรุงประสิทธิภาพของโมเดลมากกว่าการขยายขนาด สิ่งนี้จะเปลี่ยนแนวการแข่งขันของอุตสาหกรรม AI และส่งเสริมเทคโนโลยี AI เพื่อพัฒนาไปในทิศทางที่ได้รับการปรับปรุงและชาญฉลาดมากขึ้น ในอนาคตการพัฒนาเทคโนโลยี AI จะขึ้นอยู่กับนวัตกรรมอัลกอริทึมและความเข้าใจในสาระสำคัญของแบบจำลองมากกว่าการสะสมพลังงานการคำนวณที่เรียบง่าย