Anthropic a récemment publié les invites du système pour ses modèles de la série Claude, mais cela a suscité une controverse en raison du manque de description de la dernière fonctionnalité Artifacts. Les chercheurs notent que ce manque affecte une compréhension complète du comportement du modèle. Anthropic a répondu que la fonction Artefacts avait été lancée plus tard que l'invite du système, elle n'était donc pas incluse, et a promis d'ajouter des informations complètes dans les prochaines semaines. Cet incident met en évidence l’importance de la divulgation des invites du système de modèles d’IA et les défis auxquels les développeurs sont confrontés en termes de transparence.
La semaine dernière, Anthropic a publié les invites système pour ses modèles de la série Claude, qui constituent le mode d'emploi du modèle, mais cette version est incomplète. En réponse à ce problème, Anthropic a promis d'annoncer les invites système pour sa dernière fonctionnalité, Artifacts, dans les semaines à venir. Auparavant, les chercheurs avaient souligné que les conseils liés aux artefacts n'étaient pas inclus dans la dernière version.
Un porte-parole d'Anthropic a confirmé qu'ils "ajouteraient plus de détails sur les invites du système, y compris des informations sur les artefacts, dans les semaines à venir". Il convient de mentionner que la fonctionnalité Artefacts vient d'être ouverte à tous les utilisateurs de Claude la semaine dernière, ce qui permet aux utilisateurs d'exécuter des extraits de code à côté de l'interface de discussion de Claude.
La publication par Anthropic de l'invite du système Claude a été saluée par les médias comme une entreprise à l'avant-garde de la transparence, mais des chercheurs tels que Mohammed Sahli estiment que la déclaration de l'entreprise manque d'exhaustivité, principalement parce que l'invite du système Artifacts a été exclue.
Anthropic a expliqué que l'invite système pour les artefacts n'apparaissait pas dans la version de la semaine dernière, principalement parce que la fonctionnalité n'était pas disponible pour tous les utilisateurs de Claude avant la semaine dernière. En fait, Artifacts a été rendu public après que le système ait déclenché une annonce.
Alors, quelle est l’importance des invites du système ?
Bien que les développeurs de modèles d'IA ne soient pas tenus de publier des invites système pour les grands modèles de langage, la divulgation de ces instructions d'utilisation est devenue « amusante » pour de nombreux passionnés d'IA. Cela aide non seulement les développeurs à mieux comprendre le comportement attendu du modèle, mais permet également aux utilisateurs de comprendre pourquoi le modèle rejette certaines requêtes.
Selon le fichier d'invite système publié par Anthropic, Claude3.5Sonnet est la version la plus avancée de la série, mettant l'accent sur la précision et la simplicité dans la réponse aux questions. Le modèle ne qualifie pas explicitement les informations de sensibles et évite l’utilisation de mots de remplissage ou d’excuses redondants.
Claude3Opus est un modèle plus large avec une base de connaissances mise à jour jusqu'en août 2023 qui permet de discuter de sujets controversés et offre de multiples perspectives, mais évite les stéréotypes et assure un équilibre des perspectives. La plus petite version, Claude3Haiku, se concentre sur la vitesse et ne dispose pas de conseils comportementaux comme Claude3.5Sonnet.
Quant à l'invite système d'Artifacts, le contenu spécifique n'est pas encore connu. Sahli a mentionné dans son article Medium que la fonctionnalité peut viser à résoudre des problèmes complexes de manière systématique et à se concentrer sur des réponses concises.
Souligner:
- ? Anthropic promet de publier une invite système Artifacts pour le modèle Claude dans les prochaines semaines afin de répondre aux questions des chercheurs.
- ? La fonctionnalité Artefacts, qui permet aux utilisateurs d'exécuter des extraits de code à côté de l'interface de discussion de Claude, vient d'être mise à la disposition de tous les utilisateurs la semaine dernière.
- ? La divulgation des invites du système aide les utilisateurs à comprendre le comportement du modèle et encourage les développeurs d'IA à être transparents.
Dans l’ensemble, cet incident reflète l’importance de la divulgation des invites du système de modèle de langage à grande échelle, ainsi que les problèmes de transparence et de responsabilité dans le domaine de la R&D en IA. Les actions ultérieures d'Anthropic auront un impact significatif sur sa réputation et la confiance de ses utilisateurs. Nous attendons avec impatience qu'il complète les informations dans les plus brefs délais et continue de maintenir sa position de leader en matière de transparence dans le domaine de l'IA.