قامت شركة التكنولوجيا الروسية العملاقة Yandex بفتح المصدر لأداة YaFSDP التي طورتها ذاتيًا، وهي طريقة تحسين للتدريب على نماذج اللغة الكبيرة (LLM) التي تقود كفاءتها الصناعة. يمكن لـ YaFSDP زيادة سرعة تدريب LLM بشكل كبير، بما يصل إلى 26%، وتوفير تكاليف موارد وحدة معالجة الرسومات بشكل كبير، وهو بلا شك فائدة كبيرة لمطوري الذكاء الاصطناعي والمؤسسات. تعمل هذه الأداة بشكل جيد بشكل خاص عندما يصل حجم معلمة التدريب إلى 30 مليارًا إلى 70 مليارًا، مما يوفر المزيد من الإمكانيات للمؤسسات الصغيرة والمتوسطة الحجم والمطورين الأفراد لتدريب LLM بشكل مستقل.
قامت شركة Yandex، وهي شركة تكنولوجية عملاقة من روسيا، مؤخرًا بفتح مصادر أداة YaFSDP المطورة بشكل مستقل لمجتمع الذكاء الاصطناعي العالمي، والتي تعد حاليًا أكثر طرق تحسين التدريب على نموذج اللغة الكبيرة (LLM) كفاءة في الصناعة. بالمقارنة مع تقنية FSDP المستخدمة على نطاق واسع في الصناعة، يمكن لـ YaFSDP زيادة سرعة تدريب LLM بنسبة تصل إلى 26%، وهو ما من المتوقع أن يوفر الكثير من موارد GPU لمطوري الذكاء الاصطناعي والمؤسسات.
YaFSDP (Yandex Full Sharded Data Parallel) هو إصدار محسّن من Yandex يعتمد على FSDP وهو يركز على تحسين كفاءة اتصال وحدة معالجة الرسومات واستخدام الذاكرة، والقضاء على الاختناقات في عملية تدريب LLM. في المهام التي تتطلب اتصالات مكثفة مثل التدريب المسبق والمواءمة والضبط الدقيق، يُظهر YaFSDP تحسينات ممتازة في الأداء، خاصة عندما يصل حجم معلمة التدريب إلى 30 مليارًا إلى 70 مليارًا.
قال ميخائيل خروتشوف، كبير خبراء التطوير في Yandex وعضو فريق YaFSDP: "YaFSDP هو الأنسب للنماذج مفتوحة المصدر المستخدمة على نطاق واسع استنادًا إلى بنية LLaMA. ما زلنا مستمرين في تحسين وتوسيع نطاق تنوعها عبر بنيات النماذج والمعلمات المختلفة. الأحجام، بهدف استخدامها على نطاق أوسع، وتحسين كفاءة التدريب في سيناريوهات مختلفة."
من المقدر أنه، بأخذ تدريب نموذج يحتوي على 70 مليار معلمة كمثال، فإن استخدام YaFSDP يمكن أن يوفر حوالي 150 من موارد وحدة معالجة الرسومات، وهو ما يعادل توفير 500000 إلى 1.5 مليون دولار أمريكي في تكاليف الحوسبة شهريًا. من المتوقع أن يؤدي توفير التكاليف هذا إلى جعل التدريب المستقل على LLM أكثر جدوى للشركات الصغيرة والمتوسطة والمطورين الأفراد.
وفي الوقت نفسه، تعد Yandex أيضًا بمواصلة المساهمة في تطوير مجتمع الذكاء الاصطناعي العالمي، وهو انعكاس لهذا الالتزام. في السابق، شاركت الشركة عددًا من أدوات الذكاء الاصطناعي مفتوحة المصدر التي تحظى بتقدير كبير، مثل مكتبة تعزيز التدرج عالي الأداء CatBoost وخوارزمية ضغط النماذج المتطرفة AQLM ومكتبة تبسيط تدريب نموذج Petals.
ويشير محللو الصناعة إلى أنه مع استمرار توسع نطاق LLM، فإن تحسين كفاءة التدريب سيصبح المفتاح لتطوير الذكاء الاصطناعي. من المتوقع أن تساعد الإنجازات التقنية مثل YaFSDP مجتمع الذكاء الاصطناعي على تطوير أبحاث النماذج الكبيرة بشكل أسرع واستكشاف آفاق تطبيقه في معالجة اللغة الطبيعية ورؤية الكمبيوتر وغيرها من المجالات.
يُظهر المصدر المفتوح لـ YaFSDP موقف Yandex الإيجابي ومساهمتها في تعزيز تطوير تكنولوجيا الذكاء الاصطناعي، كما أنه يوفر أداة قوية لمجتمع الذكاء الاصطناعي العالمي، مما يؤدي إلى خفض عتبة التدريب على النماذج الكبيرة وتسريع نشر تكنولوجيا الذكاء الاصطناعي وتطبيقها.