Японські науковці перетворюють активність мозку на описовий текст за допомогою «майнд-кепшенінгу»

Японські дослідники досягли значного прогресу в нейронауці, розробивши методику «майнд-кепшенінг» (mind-captioning), яка трансформує складну мозкову активність у зв'язний описовий текст. Ця розробка, детально описана у виданні Science Advances 5 листопада 2025 року, відкриває потенційні шляхи для створення допоміжних комунікаційних засобів та поглиблення розуміння механізмів обробки візуальної інформації мозком.

Дослідження, очолюване Томоюасу Хорікавою з Лабораторій комунікаційних наук NTT у Японії, залучило шість учасників — носіїв японської мови віком від 22 до 37 років. Під час функціональної магнітно-резонансної томографії (фМРТ) учасники переглядали 2180 німих відеокліпів, надавши близько 17 годин даних для аналізу. Метод Хорікави успішно генерував речення, що відображали візуальний контент, який спостерігали учасники, спираючись виключно на їхні фМРТ-дані.

Інновація реалізується у двохетапному процесі для інтерпретації невербальних ментальних репрезентацій. Спочатку лінійні моделі декодування трансформують мозкову активність, викликану відео, у семантичні ознаки, обчислені за допомогою глибокої мовної моделі, такої як DeBERTa. Потім інша мовна модель, наприклад RoBERTa, оптимізує кандидатів у речення, вирівнюючи їхні семантичні ознаки з тими, що були декодовані з мозку, через ітеративну заміну слів та інтерполяцію. Цей підхід дозволяє створювати добре структуровані описи, що точно відображають побачене, навіть без залучення канонічної мовної мережі мозку, що є важливим для осіб із порушеннями мовлення, як-от афазія.

Система продемонструвала здатність описувати спогади з точністю до 40% серед 100 можливих варіантів, а точність опису побачених сцен становила майже 50%. Хорікава наголошує, що поточний метод інтерпретує семантичні ознаки мозку, а не декодує приватні думки. Це відрізняє його від попередніх досліджень, які зосереджувалися на декодуванні почутого мовлення, оскільки «майнд-кепшенінг» фокусується на візуальних образах і пам'яті.

Зміна порядку слів у згенерованих описах різко знижувала точність, що свідчить про те, що штучний інтелект вловлює глибинну структуру значення, а не лише ключові слова. Незважаючи на науковий результат, етики, зокрема Марчелло Єнка, застерігають про виклики, пов'язані з конфіденційністю ментальних даних. Наразі технологія перебуває на ранній стадії прототипу і вимагає значних обсягів даних та повної співпраці учасників, що обмежує її практичне повсякденне використання.