Les dernières recherches d'IBM révèlent un phénomène inquiétant: des modèles de grandes langues tels que GPT-4 et GPT-3.5 peuvent être facilement trompés, générer du code malveillant ou fournir de faux conseils de sécurité. Les chercheurs ont souligné que même avec des connaissances en anglais de base et une simple compréhension des données de formation des modèles, les attaquants peuvent manipuler avec succès ces chatbots d'IA. Cette découverte met en évidence les risques potentiels des technologies actuelles de l'IA, en particulier dans le domaine de la cybersécurité.
Il existe des différences significatives dans les performances de différents modèles d'IA face à la fraude, GPT-3.5 et GPT-4 montrant une vulnérabilité plus élevée. Cette différence peut être liée à l'échelle de données de formation du modèle, à la conception d'architecture et au mécanisme de génération de dialogue. L'étude montre également que bien que le niveau de menace de ces vulnérabilités soit évalué comme modéré, les conséquences peuvent être très graves si elles sont exploitées par les pirates. Par exemple, les acteurs malveillants peuvent diffuser des conseils de sécurité dangereux via ces modèles, ou même voler des informations sensibles aux utilisateurs.
L'équipe de recherche a souligné que, bien que ces vulnérabilités n'aient pas été largement exploitées, les développeurs et les entreprises de l'IA doivent accorder une grande importance à ce problème. Avec l'utilisation généralisée de la technologie de l'IA dans divers domaines, garantissant que sa sécurité et sa fiabilité sont devenues particulièrement importantes. Les chercheurs suggèrent que les futurs modèles d'IA devraient renforcer la formation contradictoire pour améliorer leur capacité à identifier et à défendre les intrants frauduleux.
De plus, cette étude a déclenché des discussions approfondies sur l'éthique et la réglementation de l'IA. Avec le développement rapide de la technologie de l'IA, comment trouver un équilibre entre l'innovation et la sécurité est devenu un défi commun auquel est confrontée l'interface technologique mondiale. Les experts appellent les gouvernements et les agences pertinentes à développer des réglementations d'utilisation de l'IA plus strictes afin d'empêcher que la technologie soit abusée.
Dans l'ensemble, les recherches d'IBM ont sonné un réveil pour le champ d'IA. Bien que les modèles de grands langues présentent des capacités solides dans le traitement du langage naturel, leurs risques de sécurité potentiels ne peuvent pas être ignorés. À l'avenir, le développement ultérieur de la technologie d'IA doit améliorer les performances tout en accordant plus d'attention à la sécurité et aux problèmes éthiques pour s'assurer qu'elle peut apporter une réelle valeur à la société.