Ali Qwen2-72B encabeza la lista HELM: el rendimiento supera a Llama3-70B

Recientemente, la Universidad de Stanford publicó los últimos resultados de la lista de evaluación de modelos grandes HELM MMLU, que ha atraído una amplia atención en la industria. Con sus estrictos estándares de evaluación y su proceso de evaluación transparente, esta lista proporciona una referencia confiable para la evaluación del desempeño de modelos grandes. Los resultados de la lista muestran que el modelo Tongyi Qianwen Qwen2-72B de Alibaba se destaca entre muchos modelos y ha logrado resultados impresionantes, lo que demuestra el progreso significativo de la tecnología de modelos grandes de China.

Recientemente, la gran lista de evaluación de modelos HELM MMLU de la Universidad de Stanford publicó los últimos resultados. Percy Liang, director del Centro de Investigación de Modelos Básicos de la Universidad de Stanford, publicó un artículo señalando que el modelo Tongyi Qianwen Qwen2-72B de Alibaba superó a Llama3-70B en la clasificación y se convirtió en el modelo grande de código abierto con mejor rendimiento. MMLU (Massive Multitask Language Understanding) es uno de los puntos de referencia de evaluación de modelos grandes más influyentes de la industria. Cubre 57 tareas que incluyen matemáticas básicas, informática, derecho, historia, etc., y está diseñado para evaluar el conocimiento mundial y las habilidades de resolución de problemas en modelos grandes. Sin embargo, en la evaluación real, los resultados de diferentes modelos a menudo carecen de coherencia y comparabilidad. Esto se debe principalmente al uso de tecnología de palabras rápidas no estándar y a la falta de adopción uniforme de marcos de evaluación de código abierto.

HELM (Un marco holístico para evaluar modelos de cimientos) propuesto por el Centro de Investigación sobre Modelos de cimientos (CRFM) de la Universidad de Stanford se compromete a crear un método de evaluación transparente y reproducible. El marco HELM estandariza y hace transparentes los resultados de la evaluación de diferentes modelos en MMLU, resolviendo problemas existentes en las evaluaciones de MMLU existentes. Por ejemplo, utilice las mismas palabras clave para todos los modelos participantes y proporcione a los modelos los mismos 5 ejemplos en cada tema de prueba para el aprendizaje situacional. Percy Liang, director del Centro de Investigación de Modelos Fundamentales de la Universidad de Stanford, publicó recientemente la última lista HELM MMLU en plataformas sociales. La lista muestra que el modelo de código abierto Tongyi Qianwen, Qwen2-72B, de Alibaba ocupa el quinto lugar, solo superado por Claude3Opus, GPT-4o, Gemini1.5pro y GPT-4. Es el modelo grande de código abierto mejor clasificado y también tiene el mejor rendimiento. del modelo grande chino. La serie Tongyi Qianwen Qwen2 fue de código abierto a principios de junio de 2024 y contiene 5 modelos de ajuste fino de instrucción y preentrenamiento de diferentes tamaños. Hasta ahora, los modelos de la serie Qwen se han descargado más de 16 millones de veces, lo que demuestra su amplio reconocimiento y potente rendimiento en la industria. Los últimos resultados de la evaluación de HELM MMLU no solo demuestran el desempeño sobresaliente de Qwen2-72B en la comprensión de lenguajes multitarea, sino que también marcan el ascenso de los grandes modelos de China en la competencia global de tecnología de IA. Con el continuo avance de la tecnología, esperamos ver más modelos grandes destacados de China exhibirse en el escenario internacional en el futuro.

El excelente desempeño del Qwen2-72B no solo refleja la sólida fortaleza técnica de Alibaba en el campo de la IA, sino que también inyecta un fuerte impulso al desarrollo de modelos grandes en China. Creo que en el futuro, más modelos grandes chinos mostrarán su destacada fuerza en el escenario internacional.