Ces dernières années, l'intelligence artificielle (IA) a été de plus en plus largement utilisée dans le domaine de la programmation, mais ses capacités ont encore certaines limites. Récemment, Max Woolf, un scientifique de données senior chez BuzzFeed, a trouvé à travers une série d'expériences que la qualité du code générée par l'IA peut être considérablement améliorée en fournissant en continu des conseils pour les modèles de grands langues (LLM). Cette découverte a non seulement suscité des discussions animées dans le cercle technologique, mais a également attiré l'attention de nombreux scientifiques de l'IA, soulignant davantage l'importance de l'optimisation itérative et de la conception de mots rapides dans la programmation d'IA.
Dans l'expérience de Woolf, il a choisi le modèle AI Claude3.5Sonnet comme objet de recherche. La première étape de l'expérience consiste à permettre au modèle de résoudre un problème de programmation relativement simple: comment trouver la différence entre la valeur minimale et maximale de la somme de chaque chiffre est de 30 entières aléatoires sur un million. Après avoir reçu la tâche, Claude a rapidement généré du code qui répond aux exigences, mais Woolf estime qu'il y a encore place à l'amélioration de ce code.
Afin d'optimiser davantage le code, Woolf a décidé de demander à Claude d'optimiser itérativement de manière itérative après chaque génération de code. Après la première itération, Claude a refactorisé le code dans une classe Python orientée objet et a implémenté deux optimisations significatives, ce qui a augmenté le code de 2,7 fois plus rapidement. Dans la deuxième itération, Claude a en outre introduit le traitement multithread et l'informatique vectorisée, ce qui a finalement permis au code de fonctionner à 5,1 fois plus rapidement que la version de base.
Cependant, à mesure que le nombre d'itérations augmente, l'amélioration de la qualité du code ralentit progressivement. Bien que le modèle ait essayé des techniques plus complexes telles que la compilation JIT et la programmation asynchrone dans les itérations ultérieures, ces optimisations n'ont pas apporté les améliorations des performances attendues et ont même conduit à la dégradation des performances dans certains cas. Ce phénomène montre que bien que les indices itératifs puissent améliorer considérablement la qualité du code aux premiers stades, leur effet s'affaiblira progressivement après avoir atteint un certain niveau.
L'expérience de Woolf démontre non seulement l'énorme potentiel de l'IA dans le domaine de la programmation, mais révèle également ses limites dans les applications pratiques. Bien que l'IA puisse optimiser le code à travers de manière itérative, comment équilibrer les performances et la complexité lors de la conception de mots rapides est toujours un problème qui doit être discuté en profondeur. Cette recherche fournit de nouvelles idées pour la programmation de l'IA future et nous rappelle également que l'IA n'est pas omnipotente et que les stratégies d'utilisation et d'optimisation rationnelles sont la clé.