Japońscy Naukowcy Umożliwiają Tłumaczenie Aktywności Mózgu na Tekst Opisowy

Naukowcy z Laboratoriów Badań nad Naukami Komunikacyjnymi NTT w Japonii opracowali technikę nazwaną „mind-captioning”, która pozwala na bezpośrednie przekształcanie aktywności mózgowej w tekst opisowy. Odkrycie to, szczegółowo przedstawione w publikacji z 5 listopada 2025 roku w czasopiśmie „Science Advances”, otwiera nowe możliwości interpretacji złożonych obrazów mentalnych oraz potencjalnie wspiera komunikację osób z trudnościami mowy.

Projekt badawczy, kierowany przez Tomoyasu Horikawę, koncentrował się na analizie danych neuroobrazowania. Eksperyment objął sześciu uczestników, którzy podczas badania funkcjonalnym rezonansem magnetycznym (fMRI) obserwowali 2180 niemych klipów wideo. Metoda opracowana przez zespół Horikawy wykazała zdolność do generowania spójnych zdań odzwierciedlających treść wizualną, bazując wyłącznie na zarejestrowanych danych fMRI uczestników.

Ten postęp stanowi istotne połączenie aktywności neuronalnej z językiem naturalnym, co może przyspieszyć rozwój interfejsów mózg-komputer. Technika mind-captioning różni się od wcześniejszych prób dekodowania obrazu, ponieważ koncentruje się na generowaniu opisów narracyjnych, a nie tylko na rekonstrukcji statycznej sceny wizualnej. Badacze z NTT wykorzystali zaawansowane modele językowe wytrenowane na parach danych: aktywność mózgowa i odpowiadający jej opis wideo, analizując dynamiczne, sekwencyjne przetwarzanie informacji.

W kontekście szerszych zastosowań, innowacje te nabierają strategicznego znaczenia w Japonii, gdzie rośnie zapotrzebowanie na zaawansowane technologie wspomagające zdrowie w obliczu starzejącego się społeczeństwa. Choć technologia ta jest obiecująca dla rozjaśniania mechanizmów kodowania percepcji wzrokowej, jej obecna dokładność i szybkość działania w warunkach klinicznych wymagają dalszej optymalizacji przed powszechnym wdrożeniem dla pacjentów.

Praca ta, opublikowana w prestiżowym periodyku naukowym, sygnalizuje, że bariera między myślą a słowem może być mniej stała niż dotychczas sądzono. Dalsze badania prawdopodobnie skupią się na zwiększeniu liczby uczestników oraz dywersyfikacji materiału wizualnego w celu zapewnienia solidności i uniwersalności modelu dla różnych struktur mózgowych.