Технология «mind captioning» преобразует активность мозга в текстовые описания

Научное сообщество представило новаторскую технологию, получившую название «ментальное субтитрирование» (mind captioning). Эта разработка способна трансформировать данные мозговой активности, полученные с помощью функциональной магнитно-резонансной томографии (фМРТ), в подробные текстовые описания того, что человек видит или воображает. Прорыв основан на сочетании фМРТ с передовыми моделями искусственного интеллекта для расшифровки церебральных представлений и формирования описательных предложений.

Инициатива была реализована исследовательской командой под руководством Томоюасу Хорикавы в Лаборатории коммуникационных наук NTT. Процесс обучения ИИ включал анализ текстовых подписей к более чем 2000 видеороликов, где каждая подпись преобразовывалась в уникальный цифровой «сигнатурный отпечаток смысла». Затем другой ИИ-инструмент обучался сопоставлять паттерны мозговой активности участников с этими отпечатками, пока те просматривали видеоматериалы. Полученный церебральный декодер теперь анализирует новые сканы мозга, предсказывая соответствующий семантический отпечаток, который генератор текста использует для создания предложения, максимально соответствующего декодированному смыслу.

Этот неинвазивный подход открывает более точное понимание того, как мозг конструирует картину мира, переводя нейронную активность напрямую в естественный язык. Примечательно, что создание понятных описаний было достигнуто даже при исключении из анализа фронто-темпоральных областей, отвечающих за язык. Это указывает на наличие структурированной семантической информации за пределами стандартной языковой сети. Методика также продемонстрировала способность генерировать описания воображаемого контента.

Подобные достижения несут огромный потенциал для людей, испытывающих трудности с вербальным самовыражением, предлагая альтернативный путь для передачи мыслей. В частности, технология может стать подспорьем для людей с афазией или параличом, позволяя им общаться непрерывно. Однако столь глубокое проникновение в ментальные процессы неизбежно ставит острые этические вопросы, касающиеся неприкосновенности разума и необходимости информированного согласия.

Параллельно развиваются и другие направления нейротехнологий. Исследователи из Техасского университета в Остине разработали семантический декодер, использующий трансформерные модели, схожие с ChatGPT, для преобразования мозговой активности в текст при прослушивании или воображении историй. Эта система фокусируется на улавливании сути высказывания, а не на дословной расшифровке. В других работах ученые из Meta, используя магнитоэнцефалографию (МЭГ), добились точности в 68% при расшифровке букв, набираемых участниками на клавиатуре. Эти изыскания указывают на то, что внутренний мир человека содержит достаточно структурированной информации для ее перевода на язык.