Yandex บริษัทเทคโนโลยียักษ์ใหญ่ของรัสเซียได้ใช้โอเพ่นซอร์สเครื่องมือ YaFSDP ที่พัฒนาขึ้นเอง ซึ่งเป็นวิธีการเพิ่มประสิทธิภาพสำหรับการฝึกอบรมโมเดลภาษาขนาดใหญ่ (LLM) ซึ่งมีประสิทธิภาพเป็นผู้นำในอุตสาหกรรม YaFSDP สามารถเพิ่มความเร็วการฝึกอบรม LLM ได้อย่างมากถึง 26% และประหยัดต้นทุนทรัพยากร GPU ได้อย่างมาก ซึ่งไม่ต้องสงสัยเลยว่าเป็นประโยชน์อย่างมากสำหรับนักพัฒนา AI และองค์กรต่างๆ เครื่องมือนี้ทำงานได้ดีเป็นพิเศษเมื่อขนาดพารามิเตอร์การฝึกอบรมสูงถึง 30 พันล้านถึง 70 พันล้าน ทำให้องค์กรขนาดเล็กและขนาดกลางและนักพัฒนารายบุคคลมีโอกาสฝึกอบรม LLM ได้อย่างอิสระมากขึ้น
Yandex ซึ่งเป็นบริษัทเทคโนโลยียักษ์ใหญ่จากรัสเซีย เพิ่งเปิดซอร์สเครื่องมือ YaFSDP ที่พัฒนาขึ้นอย่างอิสระให้กับชุมชน AI ทั่วโลก ซึ่งปัจจุบันเป็นวิธีเพิ่มประสิทธิภาพการฝึกอบรมโมเดลภาษาขนาดใหญ่ (LLM) ที่มีประสิทธิภาพมากที่สุดในอุตสาหกรรม เมื่อเปรียบเทียบกับเทคโนโลยี FSDP ที่ใช้กันอย่างแพร่หลายในอุตสาหกรรม YaFSDP สามารถเพิ่มความเร็วการฝึกอบรม LLM ได้สูงสุดถึง 26% ซึ่งคาดว่าจะประหยัดทรัพยากร GPU ได้จำนวนมากสำหรับนักพัฒนา AI และองค์กรต่างๆ
YaFSDP (Yandex Full Sharded Data Parallel) เป็นเวอร์ชันปรับปรุงของ Yandex ที่ใช้ FSDP โดยมุ่งเน้นไปที่การเพิ่มประสิทธิภาพการสื่อสาร GPU และการใช้หน่วยความจำ ขจัดปัญหาคอขวดในกระบวนการฝึกอบรม LLM ในงานที่ใช้การสื่อสารมาก เช่น การฝึกอบรมล่วงหน้า การจัดตำแหน่ง และการปรับแต่งอย่างละเอียด YaFSDP จะแสดงการปรับปรุงประสิทธิภาพที่ยอดเยี่ยม โดยเฉพาะอย่างยิ่งเมื่อขนาดพารามิเตอร์การฝึกอบรมสูงถึง 30 พันล้านถึง 70 พันล้าน
มิคาอิล ครุสชอฟ ผู้เชี่ยวชาญด้านการพัฒนาอาวุโสของ Yandex และสมาชิกของทีม YaFSDP กล่าวว่า "YaFSDP เหมาะสมที่สุดสำหรับโมเดลโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายซึ่งอิงตามสถาปัตยกรรม LLaMA เรายังคงเพิ่มประสิทธิภาพและขยายความสามารถรอบด้านอย่างต่อเนื่องผ่านสถาปัตยกรรมโมเดลและพารามิเตอร์ต่างๆ ขนาดโดยคำนึงถึงการใช้งานที่กว้างขึ้น ปรับปรุงประสิทธิภาพการฝึกในสถานการณ์ต่างๆ"
ประมาณว่า การฝึกโมเดลที่มีพารามิเตอร์ 70 พันล้านตัวอย่าง การใช้ YaFSDP สามารถประหยัดทรัพยากร GPU ได้ประมาณ 150 รายการ ซึ่งเทียบเท่ากับการประหยัดค่าใช้จ่ายด้านพลังงานการประมวลผล 500,000 ถึง 1.5 ล้านเหรียญสหรัฐต่อเดือน การประหยัดต้นทุนนี้คาดว่าจะทำให้การฝึกอบรม LLM แบบอัตโนมัติเป็นไปได้มากขึ้นสำหรับ SMEs และนักพัฒนารายบุคคล
ในเวลาเดียวกัน Yandex ยังสัญญาว่าจะสนับสนุนการพัฒนาชุมชน AI ระดับโลกต่อไป YaFSDP สะท้อนให้เห็นถึงความมุ่งมั่นนี้ ก่อนหน้านี้ บริษัทได้แชร์เครื่องมือ AI โอเพ่นซอร์สที่ได้รับการยอมรับอย่างสูงจำนวนหนึ่ง เช่น ไลบรารีการเร่งการไล่ระดับสีประสิทธิภาพสูง CatBoost อัลกอริธึมการบีบอัดโมเดล AQLM extreme และไลบรารีการลดความซับซ้อนของการฝึกโมเดล Petals
นักวิเคราะห์อุตสาหกรรมชี้ให้เห็นว่าในขณะที่ขนาดของ LLM ยังคงขยายตัว การปรับปรุงประสิทธิภาพการฝึกอบรมจะกลายเป็นกุญแจสำคัญในการพัฒนาปัญญาประดิษฐ์ ความก้าวหน้าทางเทคนิค เช่น YaFSDP คาดว่าจะช่วยให้ชุมชน AI พัฒนาการวิจัยโมเดลขนาดใหญ่ได้เร็วขึ้น และสำรวจแนวโน้มการใช้งานในการประมวลผลภาษาธรรมชาติ คอมพิวเตอร์วิทัศน์ และสาขาอื่นๆ
โอเพ่นซอร์สของ YaFSDP แสดงให้เห็นถึงทัศนคติเชิงบวกและการมีส่วนร่วมของ Yandex ในการส่งเสริมการพัฒนาเทคโนโลยี AI นอกจากนี้ยังเป็นเครื่องมือที่ทรงพลังสำหรับชุมชน AI ทั่วโลก ซึ่งช่วยลดเกณฑ์สำหรับการฝึกอบรมโมเดลขนาดใหญ่ และเร่งให้เกิดความนิยมและการประยุกต์ใช้เทคโนโลยี AI