เมื่อเร็ว ๆ นี้ทีม Ling ของกลุ่ม Ant ได้เปิดตัวเอกสารทางเทคนิคที่น่าสนใจบนแพลตฟอร์ม preprint arxiv ชื่อ "Every Flop มีความสำคัญ: การปรับขนาดพารามิเตอร์ 300 พันล้านพารามิเตอร์ Hybrid Expert Ling โดยไม่มี GPU ขั้นสูง" บทความนี้มีรายละเอียดสองรูปแบบภาษาขนาดใหญ่ใหม่ที่พวกเขาพัฒนาขึ้น: Ling-Lite และ Ling-Plus ทั้งสองรุ่นได้รับการออกแบบด้วยเทคโนโลยีนวัตกรรมหลายอย่างที่สามารถฝึกฝนได้อย่างมีประสิทธิภาพเกี่ยวกับฮาร์ดแวร์ประสิทธิภาพต่ำซึ่งลดต้นทุนลงอย่างมาก
มาตราส่วนพารามิเตอร์ของการประกันตัวที่มีน้ำหนักเบาคือ 16.8 พันล้านซึ่งพารามิเตอร์การเปิดใช้งานคือ 2.75 พันล้าน โมเดล Dock ที่ปรับปรุงแล้วมีพารามิเตอร์สูงถึง 290 พันล้านพารามิเตอร์และพารามิเตอร์การเปิดใช้งาน 28.8 พันล้านพารามิเตอร์ ประสิทธิภาพของทั้งสองรุ่นถึงระดับผู้นำในอุตสาหกรรมโดยเฉพาะรุ่นที่ได้รับการปรับปรุง โมเดล MOE พารามิเตอร์ 300 พันล้านนั้นมีประสิทธิภาพเทียบเท่ากับรุ่น NVIDIA Chip ระดับสูงเมื่อได้รับการฝึกฝนบนอุปกรณ์ประสิทธิภาพต่ำโดยใช้ GPU ในประเทศ
โดยทั่วไปแล้วการฝึกอบรมโมเดล MOE นั้นต้องพึ่งพา GPU ที่มีประสิทธิภาพสูงเช่น H100 และ H800 ของ Nvidia ซึ่งไม่เพียง แต่มีราคาแพง แต่ยังถูก จำกัด ด้วยการขาดแคลนชิปซึ่งส่งผลกระทบต่อการใช้งานในสภาพแวดล้อมที่ จำกัด ทรัพยากร ด้วยเหตุนี้ทีม Ling กลุ่ม Ant ได้เสนอเป้าหมายใหม่ล่าสุด - "ไม่ใช้ GPU ขั้นสูง" เพื่อขยายโมเดลผ่านข้อ จำกัด ด้านทรัพยากรและงบประมาณ กลยุทธ์การฝึกอบรมที่เป็นนวัตกรรมของพวกเขารวมถึงการจัดสรรพารามิเตอร์แบบไดนามิกการกำหนดเวลาความแม่นยำผสมและกลไกการจัดการข้อยกเว้นการฝึกอบรมที่อัพเกรด กลยุทธ์เหล่านี้ทำให้เวลาตอบสนองขัดจังหวะสั้นลงอย่างมีประสิทธิภาพเพิ่มประสิทธิภาพกระบวนการประเมินแบบจำลองและการบีบอัดรอบการตรวจสอบความถูกต้องมากกว่า 50%
ในระหว่างการทดลองทีม Ling ได้ทำการฝึกอบรมก่อนการฝึกอบรมก่อนการฝึกอบรมบนโทเค็น 9 ล้านล้านโทเค็น ผลการวิจัยพบว่าค่าใช้จ่ายในการฝึกอบรมโทเค็น 1 ล้านล้านโทเค็นโดยใช้การกำหนดค่าฮาร์ดแวร์ประสิทธิภาพสูงอยู่ที่ประมาณ 6.35 ล้านหยวนในขณะที่หลังจากใช้วิธีการเพิ่มประสิทธิภาพของ ANT แล้วต้นทุนการฝึกอบรมของฮาร์ดแวร์สเปคต่ำได้ลดลงเหลือประมาณ 5.08 ล้านหยวน ในขณะเดียวกันประสิทธิภาพก็เปรียบได้กับ Alibaba Tongyi Qwen2.5-72B-Instruct และ Deepseek-V2.5-1210-Chat
หากความสำเร็จทางเทคโนโลยีนี้สามารถใช้กันอย่างแพร่หลายมันจะให้โซลูชั่นที่ประหยัดต้นทุนมากขึ้นสำหรับแบบจำลองขนาดใหญ่ในประเทศลดการพึ่งพาชิป NVIDIA และเปิดเส้นทางใหม่สำหรับการพัฒนาในอนาคตของปัญญาประดิษฐ์