L'Université de Tokyo a collaboré avec Alternative Machine Company pour développer un système robot humanoïde appelé Alter3, capable de mapper directement les commandes en langage naturel aux actions du robot. Cela marque une avancée significative dans la recherche basée sur la combinaison de modèles de base et de systèmes robotiques. Le modèle d'arrière-plan d'Alter3 utilise la technologie GPT-4, qui lui permet d'effectuer une série de tâches complexes, des simples selfies aux comportements complexes tels que la simulation de fantômes, montrant un grand potentiel d'application. Bien qu’encore au stade de la recherche, cette technologie ouvre la voie au développement futur de la robotique.
Des chercheurs de l'Université de Tokyo au Japon ont réalisé une nouvelle avancée dans leur recherche collaborative avec Alternative Machine Company, en développant un système robot humanoïde Alter3 capable de mapper directement les commandes en langage naturel aux actions du robot. Son modèle d'arrière-plan utilise la technologie GPT-4 et peut effectuer une série de tâches complexes, comme prendre des selfies ou jouer au fantôme.
Il s’agit de l’un des nombreux résultats de recherche basés sur la combinaison de modèles de base et de systèmes robotiques. Bien que ces systèmes n’aient pas encore atteint de solutions commerciales évolutives, ils ont fait progresser la recherche en robotique ces dernières années et ont montré un grand potentiel.
Alter3 utilise la technologie GPT-4 comme modèle d'arrière-plan pour recevoir des instructions en langage naturel décrivant les actions ou les situations dans lesquelles le robot doit réagir. Premièrement, le modèle utilise un « cadre d'agent » pour planifier la séquence d'étapes d'action que le robot doit suivre pour atteindre son objectif. Deuxièmement, en codant l’agent, générez les commandes dont le robot a besoin pour effectuer chaque étape. Comme GPT-4 n’a pas été formé aux commandes de programmation Alter3, les chercheurs ont utilisé ses capacités d’apprentissage contextuel pour adapter son comportement à l’API du robot.
Par conséquent, l'invite contient une liste de commandes et un ensemble d'exemples montrant comment utiliser chaque commande. Le modèle mappe ensuite chaque étape à une ou plusieurs commandes API à envoyer au robot pour exécution.
Les chercheurs ont ajouté des fonctionnalités permettant aux humains de fournir des commentaires, tels que « lever le bras un peu plus haut ». Ces instructions sont envoyées à un autre agent GPT-4, qui raisonne le code, apporte les corrections nécessaires et renvoie la séquence d'actions au robot. Les recettes et codes d'action améliorés sont stockés dans une base de données pour une utilisation ultérieure.
Les chercheurs ont effectué plusieurs tests sur l'Alter3, y compris des actions quotidiennes, comme prendre des selfies et boire du thé, ainsi que des actions imitées, comme se faire passer pour un fantôme ou un serpent. Ils ont également testé la capacité du modèle à faire face à des situations nécessitant des actions soigneusement planifiées. La compréhension approfondie du comportement et du mouvement humains de GPT-4 permet la création de plans comportementaux plus réalistes pour les robots humanoïdes tels qu'Alter3. Les expériences des chercheurs ont également montré qu'ils étaient capables d'imiter des émotions telles que la honte et la joie chez le robot.
Souligner:
- Alter3 est le dernier robot humanoïde à utiliser la technologie GPT-4 pour le raisonnement, capable de mapper les instructions en langage naturel directement sur les actions du robot.
- Les chercheurs ont exploité les capacités d'apprentissage contextuel de la technologie GPT-4 pour adapter son comportement à l'API du robot, permettant ainsi au robot d'effectuer une série d'étapes d'action souhaitées.
- L'ajout de commentaires humains et de mémoire pourrait améliorer les performances d'Alter3, et les expériences des chercheurs ont également montré qu'ils étaient capables d'imiter des émotions telles que la honte et la joie chez le robot.
Le succès d'Alter3 prouve le grand potentiel de GPT-4 dans le domaine du contrôle des robots, ouvrant la voie à des systèmes robotiques plus intelligents et plus flexibles à l'avenir. Cette percée dans la recherche annonce une nouvelle révolution dans l’interaction homme-machine.