En el examen de ingreso a la universidad de 2024, nueve grandes modelos de IA participaron en el desafío sin precedentes de tomar el examen de ingreso a la universidad, especialmente el extremadamente difícil examen de Henan. Esta prueba organizada por los medios tiene como objetivo evaluar las capacidades reales de la IA en el ámbito académico y proporcionar datos valiosos para nuestra comprensión de las diferencias entre la IA y la inteligencia humana. Los resultados de esta prueba son llamativos. Los resultados de algunos modelos de IA incluso superaron los resultados de primera línea, lo que despertó una atención generalizada y una acalorada discusión, y también proporcionó nuevas ideas para la dirección futura del desarrollo de la tecnología de IA.
Entre las nueve IA que participaron en la prueba, las puntuaciones de cuatro IA superaron la primera línea del examen de ingreso a la Universidad de Henan. GPT-4o ganó el primer lugar con una puntuación alta de 562 puntos, superando a la primera línea por 41 puntos, mientras que Doubao de ByteDance le siguió de cerca con 542,5 puntos, convirtiéndose en el mejor entre los modelos nacionales.
La IA tiene buenos resultados en materias de artes liberales, especialmente en materias de chino e inglés, pero no tan bien en materias de ciencias, especialmente matemáticas. Se puede ver que la IA ha mostrado ventajas obvias en materias de lenguaje y su capacidad para comprender la poesía antigua es impresionante.
El desempeño de la IA en preguntas de razonamiento simple es aceptable, pero su desempeño en preguntas que requieren derivaciones y pruebas complejas es deficiente, lo que demuestra que es necesario mejorar su capacidad lógica. En la asignatura integral de artes liberales, la asignatura de geografía tuvo el peor desempeño, mientras que en la asignatura integral de ciencias, la asignatura de biología tuvo un desempeño relativamente bueno. GPT-4o tuvo un desempeño sobresaliente en el tema político con una puntuación alta de 91,5 puntos.
Métodos de prueba y estándares de puntuación.
Rondas de prueba: para reducir el impacto de la aleatoriedad, todos los sujetos fueron evaluados durante dos rondas y la puntuación promedio se tomó como puntuación final.
Formato de entrada: las fórmulas se ingresan en formato Markdown/LaTeX. Para preguntas sobre imágenes, las imágenes y el texto correspondientes se ingresan de acuerdo con las capacidades de reconocimiento del modelo.
Operación de prueba: un proveedor profesional de servicios de datos de IA realiza capturas de pantalla de prueba unificadas y estandarizadas para garantizar la imparcialidad de la prueba.
Método de puntuación: se utilizan los mismos estándares de puntuación con los candidatos humanos para garantizar la imparcialidad de la puntuación.
Este intento de la IA de participar en el examen de ingreso a la universidad no sólo demuestra las ventajas de la IA en campos específicos, sino que también expone sus deficiencias en el razonamiento lógico y las pruebas matemáticas. Como citó un candidato de IA en su ensayo: "El camino es muy largo, y buscaré hacia arriba y hacia abajo". Esto no es sólo una descripción del desarrollo de la IA, sino también una descripción vívida de la exploración continua de los seres humanos. el mundo desconocido. A través de esta prueba, tenemos una comprensión más profunda del nivel de inteligencia de la IA y también proporciona una referencia valiosa para la dirección futura del desarrollo de la IA.
La lista de candidatos incluye productos de inteligencia artificial conocidos como GPT-4o de OpenAI, Doubao de ByteDance y Wenxin 4.0 de Baidu. Su desempeño en este examen de ingreso a la universidad sin duda tendrá un profundo impacto en el desarrollo de la tecnología de inteligencia artificial.
Este experimento de examen de ingreso a la universidad de IA nos brinda información profunda sobre el estado actual y la dirección futura del desarrollo de la inteligencia artificial, y también destaca los desafíos que aún enfrentamos en la búsqueda de la inteligencia artificial general. Creo que en el futuro la IA demostrará su potencial en más campos y aportará mayores avances a la sociedad humana.