Une équipe de chercheurs de l'Université de Surrey et de l'Université de Stanford au Royaume-Uni a réalisé une percée dans le domaine de l'intelligence artificielle : ils ont développé une nouvelle méthode qui permet à l'intelligence artificielle de comprendre les croquis au trait dessinés par des humains, même si ces croquis étaient réalisé par des non-experts en. Ce résultat de recherche permet à l’intelligence artificielle d’atteindre une précision proche du niveau humain dans l’identification des croquis de scène, jetant ainsi les bases d’une interaction homme-machine plus puissante et de flux de travail de conception plus efficaces. Cette avancée technologique ne se reflète pas seulement dans la reconnaissance des objets dans le croquis, mais, plus important encore, dans la capacité de comprendre la signification de chaque trait du croquis, ce qui fournit de nouvelles idées à l'intelligence artificielle pour comprendre l'expression visuelle humaine.
Une équipe de chercheurs de l'Université de Surrey et de l'Université de Stanford au Royaume-Uni a développé une nouvelle méthode pour enseigner l'intelligence artificielle (IA) à comprendre les croquis de dessins humains, même lorsqu'ils sont dessinés par des non-artistes. Le modèle se rapproche des performances au niveau humain dans la reconnaissance des croquis de scène.
Le Dr Yulia Gryaditskaya, maître de conférences au Centre de traitement de la vision, de la parole et du signal (CVSSP) de l'Université de Surrey et à l'Institut central d'intelligence artificielle (PAI) du peuple de Surrey, a déclaré : « L'esquisse est un langage de communication visuel puissant. Il est parfois même plus puissant que langage parlé. Expressif et flexible. Développer des outils pour comprendre les croquis est une étape vers une interaction homme-machine plus puissante et des flux de travail de conception plus efficaces. Quels que soient leur âge et leur origine, les gens utilisent le dessin pour explorer de nouvelles idées et communiquer. Cependant, les systèmes d’IA ont toujours eu du mal à comprendre les croquis. L'IA doit apprendre à comprendre les images. En règle générale, cela nécessite un processus long et laborieux de collecte d'étiquettes pour chaque pixel de l'image. L’IA apprend alors de ces étiquettes.
Cependant, l’équipe de recherche a enseigné l’IA à travers une combinaison de croquis et de descriptions écrites. Il a appris à regrouper les pixels, en les faisant correspondre aux catégories dans la description. En conséquence, l’IA démontre une compréhension humaine plus riche et plus étroite que jamais. Il a pu identifier et étiqueter correctement les cerfs-volants, les arbres, les girafes et d'autres objets avec une précision de 85 %, surpassant ainsi les autres modèles reposant sur des pixels étiquetés. En plus d'identifier des objets dans des scènes complexes, il peut également déterminer quel objet chaque trait est utilisé pour représenter. Cette nouvelle méthode fonctionne non seulement pour les croquis informels réalisés par des non-artistes, mais également pour les croquis réalisés par des sujets sans formation explicite.
Judith Fan, professeur adjoint de psychologie à l'Université de Stanford, a déclaré : « Le dessin et l'écriture font partie des activités humaines les plus essentielles et sont utilisés depuis longtemps pour capturer les observations et les pensées des gens. Ce travail constitue une avancée importante dans la capacité des systèmes d'IA à comprendre la nature des idées que les gens tentent de transmettre. Des progrès passionnants ont été réalisés, qu’ils utilisent des images ou du texte. » La recherche a été menée dans le cadre du People’s Center for Artificial Intelligence Institute de l’Université de Surrey, en particulier de son initiative SketchX. SketchX utilise l'intelligence artificielle pour tenter de comprendre la façon dont nous voyons le monde à travers la façon dont nous dessinons.
Le professeur Song Yizhe, codirecteur de l'Institut d'intelligence artificielle du People's Center et responsable de SketchX, a déclaré : « Cette recherche est un excellent exemple de la manière dont l'IA peut améliorer les activités humaines de base telles que le dessin. précision humaine, cette technologie a un énorme potentiel pour améliorer la créativité naturelle des gens, quel que soit leur talent artistique.
Adresse papier : https://arxiv.org/abs/2312.12463
Ce résultat de recherche a apporté de nouvelles avancées à l'intelligence artificielle dans les domaines de la compréhension des images et de l'interaction homme-machine. Il devrait être largement utilisé dans le design, la création artistique et d'autres domaines à l'avenir, favorisant ainsi le développement collaboratif des humains et de l'artificiel. intelligence. Les progrès de cette technologie démontrent également l’énorme potentiel de l’intelligence artificielle dans la compréhension des informations humaines non structurées.