En los últimos años, la inteligencia artificial (IA) se ha utilizado cada vez más en el campo de la programación, pero sus capacidades aún tienen ciertas limitaciones. Recientemente, Max Woolf, un científico senior de datos de BuzzFeed, encontró a través de una serie de experimentos que la calidad del código generado por la IA puede mejorarse significativamente al proporcionar continuamente consejos para modelos de idiomas grandes (LLM). Este descubrimiento no solo despertó discusiones acaloradas en el círculo tecnológico, sino que también atrajo la atención de muchos científicos de IA, destacando aún más la importancia de la optimización iterativa y el diseño de palabras rápidas en la programación de IA.
En el experimento de Woolf, eligió el modelo AI Claude3.5sonnet como objeto de investigación. El primer paso en el experimento es permitir que el modelo resuelva un problema de programación relativamente simple: cómo encontrar la diferencia entre el valor mínimo y máximo de la suma de cada dígito es de 30 en un millón de enteros aleatorios. Después de recibir la tarea, Claude generó rápidamente un código que cumple con los requisitos, pero Woolf cree que todavía hay margen de mejora en este código.
Para optimizar aún más el código, Woolf decidió pedirle a Claude que optimice iterativamente de forma iterativa después de cada generación de código. Después de la primera iteración, Claude refactoró el código en una clase de Python orientada a objetos e implementó dos optimizaciones significativas, lo que aumentó el código en 2.7 veces más rápido. En la segunda iteración, Claude introdujo además un procesamiento multiproceso y la computación vectorizada, lo que finalmente permitió que el código se ejecutara a 5.1 veces más rápido que la versión básica.
Sin embargo, a medida que aumenta el número de iteraciones, la mejora de la calidad del código se ralentiza gradualmente. Aunque el modelo probó técnicas más complejas, como la compilación JIT y la programación asincrónica en iteraciones posteriores, estas optimizaciones no trajeron las mejoras de rendimiento esperadas e incluso condujeron a la degradación del rendimiento en algunos casos. Este fenómeno muestra que, aunque las sugerencias iterativas pueden mejorar significativamente la calidad del código en las primeras etapas, su efecto se debilitará gradualmente después de alcanzar un cierto nivel.
El experimento de Woolf no solo demuestra el enorme potencial de IA en el campo de la programación, sino que también revela sus limitaciones en aplicaciones prácticas. Aunque la IA puede optimizar el código a través de iterativamente, cómo equilibrar el rendimiento y la complejidad al diseñar palabras rápidas sigue siendo un problema que debe discutirse en profundidad. Esta investigación proporciona nuevas ideas para la futura programación de IA, y también nos recuerda que la IA no es omnipotente, y las estrategias de uso y optimización racionales son la clave.