«Техника чтения ума» в научно -фантастических фильмах, кажется, становится реальностью! Ученые из Йельского университета, Дартмутского колледжа и Кембриджского университета совместно разработали модель ИИ под названием Mindllm, которая может непосредственно декодировать мозговые сигналы, отсканированные с помощью функциональной магнитно-резонансной томографии (FMRI) в текст человека. Эта прорывная технология заставляет людей вздохнуть, что будущее тихо появилось.
Преобразование сложных мозговых действий в слова всегда было огромной проблемой в области нейробиологии, и это так же сложно, как лазание на гору Эверест. Предыдущие методы либо имели плохие прогнозы, либо могли выполнять только простые задачи, и имели почти нулевую универсальность по предметам. Однако появление Mindllm полностью изменило эту ситуацию.
Mindllm похож на «супер -переводчик», который может не только понимать деятельность мозга, но и преобразовать его в слова, не ограничиваясь предметом и субъектом. Этот прорыв благодаря технологии корректировки инструкций мозга (BIT), разработанной исследователями, которая позволяет MindLLM более точно захватить семантическую информацию в сигналах MRI, тем самым значительно улучшая возможности декодирования.
В реальном тестировании выступление Mindllm была удивительной. Среди различных FMRI к текстовым задачам его производительность намного превышает все предыдущие модели, при этом задачи последующих по течению улучшились на 12,0%, способность неизвестных обобщений увеличилась на 16,4%, а адаптивность новых задач увеличилась на 25,0%. Производительность этого «всестороннего академического мастера», несомненно, открыла новые возможности для технологии интерфейса мозга.
Mindllm имеет широкую перспективу приложения. Для пациентов с языковыми расстройствами, такими как афазия и амиотрофическая шейка матки, ожидается, что они помогут им восстановить свою способность выражать себя и воссоединиться с миром. Для здоровых людей Mindllm также открыл дверь для «контроля над разумом» цифровых устройств, и, контролирует ли она ИИ или контролирует протезирование, она станет более естественной и человеческой.
Успех Mindllm неотделим от его «внутреннего и внешнего» дизайна. Он использует независимый от субъекта энкодер FMRI, который точно извлекает ключевые особенности активности мозга из сложных сигналов FMRI и подходит для разных субъектов. В то же время он оснащен большой языковой моделью (LLM), которая может плавно преобразовать извлеченные особенности ЭЭГ в человеческий язык.
Для дальнейшего повышения точности и универсальности декодирования исследователи также разработали технологию корректировки инструкций мозга (BIT). Через образы в качестве посредничества Mindllm может изучать различные задачи, включая восприятие, память, язык и рассуждения, тем самым всесторонне улучшая понимание семантической информации мозга.
В строгом тестировании Mindllm выполнял далеко за пределы ожиданий, не только превосходя базовую модель во всех показателях, но и эффективно адаптирована к различным новым задачам, демонстрируя удивительную пластичность и гибкость. Кроме того, исследователи также глубоко проанализировали механизм внимания Mindllm и обнаружили, что его процесс принятия решений интерпретируется, что дает ценную информацию о том, как работает мозг.
Рождение Mindllm, несомненно, является вехой от FMRI до текстового декодирования. Это не только значительно повышает точность и универсальность декодирования, но и зажигает бесконечное воображение для будущего развития технологии раздела интерфейс мозга. Возможно, в ближайшем будущем «интерпретация идей» больше не станет сценой в научно-фантастических фильмах, но действительно войдет в нашу жизнь и откроет новую эру взаимодействия человека с компьютером.
Бумажная ссылка: https://arxiv.org/abs/2502.15786