Nos últimos anos, a inteligência artificial (IA) tem sido cada vez mais usada no campo da programação, mas suas capacidades ainda têm certas limitações. Recentemente, Max Woolf, um cientista sênior de dados da BuzzFeed, encontrado através de uma série de experimentos que a qualidade do código gerada pela IA pode ser significativamente melhorada, fornecendo continuamente dicas para grandes modelos de idiomas (LLMS). Essa descoberta não apenas despertou discussões acaloradas no círculo tecnológico, mas também atraiu a atenção de muitos cientistas da IA, destacando ainda mais a importância da otimização iterativa e do design imediato de palavras na programação da IA.
No experimento de Woolf, ele escolheu o modelo de IA Claude3.5Sonnet como o objeto de pesquisa. A primeira etapa do experimento é deixar o modelo resolver um problema de programação relativamente simples: como encontrar a diferença entre o valor mínimo e o máximo da soma de cada dígito é de 30 em um milhão de números inteiros aleatórios. Depois de receber a tarefa, Claude rapidamente gerou código que atende aos requisitos, mas Woolf acredita que ainda há espaço para melhorias nesse código.
Para otimizar ainda mais o código, Woolf decidiu pedir a Claude para otimizar iterativamente iterativamente após cada geração de código. Após a primeira iteração, Claude refatorou o código em uma classe Python orientada a objetos e implementou duas otimizações significativas, o que aumentou o código 2,7 vezes mais rápido. Na segunda iteração, Claude introduziu ainda mais o processamento multithread e a computação vetorizada, o que acabou permitindo que o código seja executado em 5,1 vezes mais rápido que a versão básica.
No entanto, à medida que o número de iterações aumenta, a melhoria da qualidade do código diminui gradualmente. Embora o modelo tenha tentado técnicas mais complexas, como compilação JIT e programação assíncrona nas iterações subsequentes, essas otimizações não trouxeram as melhorias esperadas de desempenho e até levaram à degradação do desempenho em alguns casos. Esse fenômeno mostra que, embora as dicas iterativas possam melhorar significativamente a qualidade do código nos estágios iniciais, seu efeito enfraquecerá gradualmente após atingir um certo nível.
O experimento de Woolf não apenas demonstra o enorme potencial de IA no campo da programação, mas também revela suas limitações em aplicações práticas. Embora a IA possa otimizar o código através de iterativamente, como equilibrar o desempenho e a complexidade ao projetar palavras rápidas ainda é um problema que precisa ser discutido em profundidade. Esta pesquisa fornece novas idéias para a futura programação da IA e também nos lembra que a IA não é onipotente, e as estratégias de uso e otimização racionais são a chave.