Site Web officiel www.binance.com/ZH-CN :Entrez le site officiel ☜☜
Application: ☞☞Official App Download☜☜
Récemment, l'équipe Ling de Ant Group a publié un document technique convaincant sur la plate-forme Preprint ArXIV, intitulée "Chaque flop est crucial: l'échelle de 300 milliards de paramètres Hybrid Expert Ling Model sans GPU avancé." Cet article détaille deux nouveaux modèles de grande langue qu'ils ont développés: Ling-Lite et Ling-Plus. Les deux modèles sont conçus avec plusieurs technologies innovantes qui peuvent être formées efficacement sur le matériel à basse performance, ce qui réduit considérablement les coûts.
L'échelle des paramètres de Bouling Lightweight Edition est de 16,8 milliards, dont les paramètres d'activation sont de 2,75 milliards. Le modèle de quai amélioré a jusqu'à 290 milliards de paramètres et 28,8 milliards de paramètres d'activation. Les performances des deux modèles atteignent le niveau de pointe, en particulier la version améliorée. Son modèle MOE de 300 milliards de paramètres fonctionne comparable à celui des modèles de puces NVIDIA haut de gamme lorsqu'ils sont formés sur des dispositifs à faible performance à l'aide de GPU domestiques.
En règle générale, la formation des modèles MOE nécessite une dépendance à des GPU à haute performance coûteuses, telles que H100 et H800 de NVIDIA, qui est non seulement coûteuse, mais également limitée par les pénuries de puces, ce qui affecte son application dans des environnements limités en ressources. À cette fin, l'équipe Ant Group Ling a proposé un tout nouvel objectif - «n'utilisant pas les GPU avancés» pour étendre le modèle, perminant les limitations des ressources et du budget. Leurs stratégies de formation innovantes incluent l'allocation des paramètres dynamiques, la planification mixte de précision et les mécanismes de gestion des exceptions de formation améliorés. Ces stratégies raccourcissent efficacement le temps de réponse d'interruption, optimisent le processus d'évaluation du modèle et les cycles de validation de compression de plus de 50%.
Au cours de l'expérience, l'équipe Ling a effectué une pré-formation Ling-plus sur 9 billions de jetons. Les résultats montrent que le coût de la formation d'un jeton de 1 billion en utilisant une configuration matérielle haute performance est d'environ 6,35 millions de yuans, tandis qu'après avoir utilisé la méthode d'optimisation d'Ant, le coût de formation du matériel à faible spécification a été réduit à environ 5,08 millions de yuans, ce qui économise près de 20%. Dans le même temps, la performance est comparable à Alibaba Tongyi Qwen2.5-72B-Istruct et Deepseek-V2.5-1210-Chat.
Si cette réalisation technologique peut être largement utilisée, elle fournira des solutions plus rentables pour les grands modèles domestiques, réduira la dépendance à l'égard des puces Nvidia et ouvrira un nouveau chemin pour le développement futur de l'intelligence artificielle.