Sitio web oficial www.binance.com/zh-cn :ingrese el sitio web oficial ☜☜
Aplicación: ☞☞Official App Download☜☜
Recientemente, el equipo de Ling de Ant Group lanzó un artículo técnico convincente sobre la plataforma preimpresión ARXIV, titulada "Cada flop es crucial: escalar el modelo de Ling Hybrid Expert Hybrid de 300 mil millones de parámetros sin una GPU avanzada". Este artículo detalla dos nuevos modelos de lenguaje grande que desarrollaron: Ling-Lite y Ling-Plus. Los dos modelos están diseñados con varias tecnologías innovadoras que pueden ser capacitadas de manera eficiente en el hardware de bajo rendimiento, lo que reduce significativamente los costos.
La escala de parámetros de la edición ligera de rescate es de 16.8 mil millones, de los cuales los parámetros de activación son de 2.75 mil millones. El modelo de muelle mejorado tiene hasta 290 mil millones de parámetros y 28.8 mil millones de parámetros de activación. El rendimiento de ambos modelos alcanza el nivel líder de la industria, especialmente la versión mejorada. Su modelo MOE de parámetros de 300 mil millones se desempeña comparable al de los modelos de chip Nvidia de alta gama cuando se entrenan en dispositivos de bajo rendimiento utilizando GPU nacionales.
Por lo general, el entrenamiento de los modelos MOE requiere dependencia de las costosas GPU de alto rendimiento, como H100 y H800 de NVIDIA, que no solo es costosa, sino que también es limitada por la escasez de chips, que afecta su aplicación en entornos de recursos limitados. Con este fin, el Equipo de Ling del Grupo de Antillas propuso un objetivo nuevo: "no usar GPU avanzadas" para expandir el modelo, rompiendo las limitaciones de recursos y presupuestos. Sus estrategias innovadoras de capacitación incluyen asignación dinámica de parámetros, programación de precisión mixta y mecanismos de manejo de excepciones de capacitación mejoradas. Estas estrategias acortan efectivamente el tiempo de respuesta de interrupción, optimizar el proceso de evaluación del modelo y comprimir los ciclos de validación en más del 50%.
Durante el experimento, el equipo de Ling realizó una pretronaboración de Ling más en 9 billones de tokens. Los resultados muestran que el costo de capacitación de 1 billón de token que utiliza la configuración de hardware de alto rendimiento es de aproximadamente 6.35 millones de yuanes, mientras que después de usar el método de optimización de Ant, el costo de entrenamiento del hardware de baja especificación se ha reducido a aproximadamente 5.08 millones de yuanes, ahorrando casi el 20%. Al mismo tiempo, el rendimiento es comparable a Alibaba Tongyi Qwen2.5-72b-Instructo y Deepseek-V2.5-1210-Chat.
Si este logro tecnológico puede usarse ampliamente, proporcionará soluciones más rentables para modelos nacionales grandes, reducirá la dependencia de los chips nvidia y abrirá un nuevo camino para el desarrollo futuro de la inteligencia artificial.