La "technique de lecture de l'esprit" dans les films de science-fiction semble devenir une réalité! Les scientifiques de l'Université de Yale, du Dartmouth College et de l'Université de Cambridge ont développé conjointement un modèle d'IA appelé Mindllm qui peut décoder directement les signaux cérébraux scannés par l'imagerie par résonance magnétique fonctionnelle (IRMf) dans un texte indispensable humain. Cette technologie révolutionnaire fait soupirer les gens que l'avenir est arrivé tranquillement.
Transformer des activités cérébrales complexes en mots a toujours été un énorme défi dans le domaine des neurosciences, et il est aussi difficile que d'escalader le mont Everest. Les techniques précédentes avaient des prédictions mauvaises ou ne pouvaient gérer que des tâches simples, et n'avaient presque aucune polyvalence entre les sujets. Cependant, l'émergence de l'esprit a complètement changé cette situation.
Mindllm est comme un "super traducteur" qui peut non seulement comprendre les activités du cerveau, mais aussi le convertir en mots sans être limité par le sujet et le sujet. Cette percée est grâce à la technologie d'ajustement de l'instruction cérébrale (BIT) développée par les chercheurs, qui permet à Mindllm de capturer plus précisément les informations sémantiques dans les signaux de l'IRMf, améliorant ainsi considérablement les capacités de décodage.
Dans les tests réels, les performances de Mindllm étaient incroyables. Parmi les différentes tâches IRMf à Text, ses performances dépassent de loin tous les modèles précédents, avec des tâches en aval améliorées de 12,0%, la capacité de généralisation des sujets inconnus a augmenté de 16,4% et l'adaptabilité des nouvelles tâches a augmenté de 25,0%. Les performances de ce "maître universitaire polyvalent" ont sans aucun doute ouvert de nouvelles possibilités pour la technologie d'interface cerveau-ordinateur.
Mindllm a une large perspective de demande. Pour les patients atteints de troubles du langage tels que l'aphasie et le col de l'utérus amyotrophique, cela devrait les aider à retrouver leur capacité à s'exprimer et à renouer avec le monde. Pour les personnes en bonne santé, Mindllm a également ouvert la porte à des appareils numériques "Contrôle de l'esprit", et qu'il s'agisse de contrôler l'IA ou de contrôler les prothèses, elle deviendra plus naturelle et humaine.
Le succès de Mindllm est inséparable de sa conception "à la fois interne et externe". Il utilise un encodeur IRMf indépendant du sujet qui extrait avec précision les caractéristiques clés de l'activité cérébrale à partir de signaux IRMf complexes et convient à différents sujets. Dans le même temps, il est équipé d'un grand modèle de langue (LLM), qui peut convertir en douceur les fonctionnalités EEG extraites en langage humain.
Pour améliorer encore la précision et la polyvalence du décodage, les chercheurs ont également développé une technologie d'ajustement de l'enseignement du cerveau (BIT). Grâce à des images en tant que médiation, Mindllm peut apprendre diverses tâches, notamment la perception, la mémoire, le langage et le raisonnement, améliorant ainsi de manière approfondie la compréhension des informations sémantiques cérébrales.
Dans des tests rigoureux, Mindllm a effectué des attentes bien au-delà des attentes, non seulement en dépassant le modèle de base dans tous les indicateurs, mais également adapté efficacement à diverses nouvelles tâches, montrant une plasticité et une flexibilité incroyables. De plus, les chercheurs ont également analysé en profondeur le mécanisme d'attention de Mindllm et ont constaté que son processus décisionnel est interprétable, ce qui fournit des informations précieuses sur le fonctionnement du cerveau.
La naissance de Mindllm est sans aucun doute une percée jalon de l'IRMf au décodage de texte. Non seulement il améliore considérablement la précision et l'universalité du décodage, mais enflamme également l'imagination infinie pour le développement futur de la technologie d'interface cérébrale. Peut-être que dans un avenir proche, «l'interprétation des idées» ne sera plus une scène dans les films de science-fiction, mais entrera vraiment dans nos vies et ouvrira une nouvelle ère d'interaction humaine-ordinateur.
Lien papier: https://arxiv.org/abs/2502.15786