Інноваційний метод «Майнд-кепшенінг» перетворює мозкову активність на текстові описи

Наукова спільнота представила інноваційний підхід, відомий як «майнд-кепшенінг» (mind captioning), який здатен трансформувати дані мозкової активності у змістовні текстові описи того, що людина бачить або уявляє. Ця розробка, що інтегрує функціональну магнітно-резонансну томографію (фМРТ) та передові моделі штучного інтелекту, відкриває нове вікно у внутрішній світ людського сприйняття. Команда дослідників під керівництвом Томоюасу Хорікави з NTT Communication Science Laboratories розробила цю техніку, яка дозволяє розшифровувати церебральні репрезентації та формувати описові речення.

Процес навчання штучного інтелекту був багатоетапним. Спочатку модель ШІ тренували на текстових підписах до понад 2000 відеозаписів, перетворюючи кожен підпис на унікальний цифровий «підпис значення». Далі, окремий інструмент ШІ навчали ідентифікувати патерни мозкової активності, що відповідають кожному такому підпису, поки учасники спостерігали за відеоматеріалами. Тепер цей церебральний декодер може аналізувати нові скани мозку, прогнозувати відповідний семантичний підпис, а потім генератор тексту використовує цей підпис для створення речення, максимально наближеного до розшифрованого змісту.

Дослідження, опубліковане у виданні Science Advances, демонструє, що модель не просто витягує завчені фрази, а виводить значення, вивчаючи структуру семантичних взаємозв'язків, вбудованих у мозок. Розробники зазначають, що система мінімізує залежність від зовнішніх баз даних підписів, що забезпечує генерацію описів, тісніше узгоджених із мозковими репрезентаціями. Цей неінвазивний метод пропонує більш точне розуміння того, як мозок формує картину світу, безпосередньо переводячи нейронну діяльність у природну мову.

Потенціал цієї технології надзвичайно широкий, особливо для тих, хто має труднощі з комунікацією. Вона пропонує їм ефективніший спосіб вираження своїх думок, відкриваючи шлях до створення альтернативних каналів комунікації для розуму, замкненого у мовчазному тілі. Водночас, цей прорив вимагає глибокого осмислення етичних питань, пов'язаних із приватністю розуму та згодою на інтерпретацію. Важливо розуміти, що фМРТ фіксує зміни рівня кисню в мозку як повільний, непрямий сигнал, а не безперервний потік свідомості, що означає зчитування усередненого патерну активності.