Японские ученые разработали метод преобразования мозговой активности в связный текст

Группа японских исследователей представила новую методику, получившую название «mind-captioning» (ментальное описание), которая позволяет транслировать паттерны мозговой активности непосредственно в связный описательный текст. Эта разработка, подробно описанная в публикации от 5 ноября 2025 года в журнале Science Advances, открывает перспективы для создания ассистивных коммуникационных устройств и более глубокого изучения механизмов обработки зрительной информации в мозге.

Проект возглавил Томоясу Хорикава, старший научный сотрудник Лабораторий коммуникационных наук NTT в Японии. В ходе эксперимента шесть взрослых добровольцев проходили функциональную магнитно-резонансную томографию (фМРТ) во время просмотра 2180 коротких видеоклипов без звука. Исследование подтвердило, что предложенный метод успешно генерировал «связные предложения, отражающие визуальное содержание, наблюдаемое участниками», используя исключительно их фМРТ-данные.

Суть прорыва заключается в том, что система декодирует невербальные представления, возникающие в сознании до того, как мысли обретают словесную форму. Алгоритм анализирует специфические паттерны мозговой активности и сопоставляет их с уникальными «семантическими подписями» — цифровыми репрезентациями смысла фраз. Исследователи отмечают, что сгенерированные описания совпадали с человеческими подписями не только по смыслу, но и по структуре, улавливая взаимосвязи между объектами и действиями.

Ценность открытия многогранна: оно несет потенциал для восстановления коммуникативных функций у лиц с речевыми нарушениями, например, афазией, а также проливает свет на кодирование визуальной информации мозгом. Эксперименты также показали, что метод применим к вербализации воспоминаний: система генерировала соответствующие описания, когда участники вспоминали просмотренные ролики. Это указывает на схожий способ кодирования как для непосредственного восприятия, так и для последующего воспроизведения опыта.

Исследователи из NTT Communication Science Laboratories подчеркивают, что методика полностью неинвазивна, используя только фМРТ. В одном из тестов алгоритм смог определить правильный просмотренный ролик из нескольких вариантов с вероятностью около 50%, что значительно выше случайного угадывания (1%). Это демонстрирует высокую точность интерпретации закодированного мозгом содержания, которое, как выяснилось, распределено по зонам, отвечающим за память и восприятие, а не только за речь.

Таким образом, технология предлагает альтернативный путь для мозгово-текстовой коммуникации, основанный на невербальных мыслях, что является критически важным шагом на пути соединения нейронной активности с лингвистическими конструкциями.