Récemment, Miles Brundage, ancien responsable de la recherche politique à Openai, a critiqué le changement narratif de l'entreprise dans la sécurité de l'IA, affirmant qu'Openai réécrit son histoire de sécurité dans les systèmes d'IA. Il a déclaré que OpenAI pourrait ignorer les mesures de sécurité à long terme dans sa poursuite de l'intelligence artificielle générale (AGI).
OpenAI s'est engagé à promouvoir sa vision ambitieuse, en particulier dans le contexte de la montée en puissance de concurrents tels que Deepseek. Dans le processus de poursuite du développement de l'AGI, l'entreprise souligne fréquemment le potentiel d'agents d'intelligence super artificielle, mais cette attitude n'a pas été largement reconnue. Brendage estime qu'Openai a des récits incohérents avec le déploiement et la sécurité de ses modèles d'IA existants.
Récemment, OpenAI a publié un document sur le déploiement progressif de son modèle d'IA pour démontrer son approche prudente. Prendre le GPT-2 comme exemple dans le document souligne qu'un degré élevé de prudence doit être maintenu lorsqu'il s'agit du système actuel. Openai a mentionné dans la documentation: "Dans un monde discontinu, les leçons de sécurité proviennent d'un degré élevé de prudence avec les systèmes d'aujourd'hui, qui est exactement l'approche que nous adoptons sur le modèle GPT-2."
Cependant, Brendage a remis en question cela. Il pense que la libération de GPT-2 suit également une approche progressive, et les experts en sécurité ont félicité la manipulation prudente d'Openai. Il pense que la prudence passée n'était pas excessive, mais la pratique nécessaire et responsable.
De plus, Brendage a exprimé ses préoccupations quant à l'affirmation d'Openai selon laquelle AGI passera par des étapes progressives plutôt que des percées soudaines. Il pense que les malentendus d'Openai sur l'histoire de la libération de GPT-2 et son nouveau narratif de l'histoire de la sécurité sont dérangeants. Il a également noté que les documents publiés par OpenAI peuvent en quelque sorte provoquer des problèmes de sécurité comme une réaction excessive, ce qui peut présenter des risques importants dans le contexte des systèmes d'IA en constante évolution.
Ce n'est pas la première fois que OpenAI est critiquée, les experts se demandant si les entreprises ont fait un compromis raisonnable entre la sécurité à long terme et les avantages à court terme. Les préoccupations de Brendage ont à nouveau attiré l'attention sur la sécurité de l'IA.
Points clés:
L'ancien leader politique d'Openai a remis en question les changements de l'entreprise dans le récit de la sécurité de l'IA, estimant que c'était un malentendu de l'histoire.
Les documents publiés par OpenAI soulignent l'importance de la libération prudente des modèles d'IA, mais ont été critiqués par d'anciens employés.
Les experts ont exprimé leurs préoccupations concernant le développement futur des systèmes d'IA.