Le géant russe de la technologie Yandex a mis en open source son outil YaFSDP qu'il a lui-même développé, une méthode d'optimisation pour la formation sur des modèles de langage étendus (LLM), dont l'efficacité est à la pointe du secteur. YaFSDP peut augmenter considérablement la vitesse de formation LLM jusqu'à 26 % et réduire considérablement les coûts des ressources GPU, ce qui constitue sans aucun doute un grand avantage pour les développeurs d'IA et les entreprises. Cet outil fonctionne particulièrement bien lorsque la taille des paramètres de formation atteint 30 à 70 milliards, offrant ainsi plus de possibilités aux petites et moyennes entreprises et aux développeurs individuels de former LLM de manière indépendante.
Yandex, un géant russe de la technologie, a récemment mis à disposition de la communauté mondiale de l'IA son outil YaFSDP développé de manière indépendante, qui constitue actuellement la méthode d'optimisation de la formation des grands modèles de langage (LLM) la plus efficace du secteur. Par rapport à la technologie FSDP largement utilisée dans l'industrie, YaFSDP peut augmenter la vitesse de formation LLM jusqu'à 26 %, ce qui devrait permettre aux développeurs d'IA et aux entreprises d'économiser beaucoup de ressources GPU.
YaFSDP (Yandex Full Sharded Data Parallel) est une version améliorée de Yandex basée sur FSDP. Elle se concentre sur l'optimisation de l'efficacité de la communication GPU et de l'utilisation de la mémoire, en éliminant les goulots d'étranglement dans le processus de formation LLM. Dans les tâches à forte intensité de communication telles que la pré-formation, l'alignement et le réglage fin, YaFSDP présente d'excellentes améliorations de performances, en particulier lorsque la taille des paramètres de formation atteint 30 à 70 milliards.
Mikhail Khruschev, expert principal en développement chez Yandex et membre de l'équipe YaFSDP, a déclaré : « YaFSDP est le mieux adapté aux modèles open source largement utilisés basés sur l'architecture LLaMA. Nous continuons d'optimiser et d'étendre sa polyvalence à travers différentes architectures de modèles et paramètres. tailles, en vue de son utilisation plus large Améliorer l'efficacité de la formation dans divers scénarios.
On estime qu'en prenant comme exemple la formation d'un modèle avec 70 milliards de paramètres, l'utilisation de YaFSDP peut économiser environ 150 ressources GPU, ce qui équivaut à une économie de 500 000 à 1,5 million de dollars en coûts de puissance de calcul par mois. Cette économie de coûts devrait rendre la formation LLM autonome plus réalisable pour les PME et les développeurs individuels.
Dans le même temps, Yandex promet également de continuer à contribuer au développement de la communauté mondiale de l'IA. YaFSDP open source est le reflet de cet engagement. Auparavant, la société a partagé un certain nombre d'outils d'IA open source très appréciés, tels que la bibliothèque d'amélioration de gradient haute performance CatBoost, l'algorithme de compression de modèle extrême AQLM et la bibliothèque de simplification de la formation de modèles Petals.
Les analystes du secteur soulignent qu'à mesure que l'ampleur du LLM continue de croître, l'amélioration de l'efficacité de la formation deviendra la clé du développement de l'intelligence artificielle. Des avancées techniques telles que YaFSDP devraient aider la communauté de l’IA à faire progresser plus rapidement la recherche sur de grands modèles et à explorer ses perspectives d’application dans le traitement du langage naturel, la vision par ordinateur et d’autres domaines.
L'open source de YaFSDP démontre l'attitude positive et la contribution de Yandex dans la promotion du développement de la technologie de l'IA. Elle fournit également un outil puissant pour la communauté mondiale de l'IA, abaissant encore le seuil de formation de grands modèles et accélérant la vulgarisation et l'application de la technologie de l'IA.