Japanische Forscher übersetzen Hirnaktivität mittels "Mind-Captioning" in Text

Japanische Forscher haben eine Methode namens „Mind-Captioning“ entwickelt, die menschliche Gehirnaktivität direkt in kohärente, beschreibende Texte übersetzt. Diese wissenschaftliche Leistung, die die Grenzen der neuronalen Dekodierung erweitert, wurde am 5. November 2025 in der Fachzeitschrift Science Advances detailliert vorgestellt. Die Technik ermöglicht tiefe Einblicke in die Interpretation komplexer visueller Vorstellungen und verspricht Vorteile für die Entwicklung von Kommunikationshilfen.

Die wegweisende Arbeit wurde von Tomoyasu Horikawa von den NTT Communication Science Laboratories in Japan geleitet. Für die Studie wurden sechs Probanden, japanische Muttersprachler im Alter zwischen 22 und 37 Jahren, mittels funktioneller Magnetresonanztomographie (fMRT) untersucht, während sie 2.180 stumme Videoclips beobachteten. Horikawas Ansatz nutzt semantische Merkmale, die durch ein tiefes Sprachmodell berechnet werden, um die Gehirnrepräsentationen widerzuspiegeln und daraus Text zu generieren.

Die Untersuchungsergebnisse belegen, dass die Technik in der Lage war, „kohärente Sätze zu erzeugen, die den visuellen Inhalt widerspiegelten, den die Teilnehmer beobachtet hatten“, basierend ausschließlich auf ihren fMRT-Daten. Ein zentraler Aspekt dieser Innovation ist die Konstruktion linearer Dekodierungsmodelle, welche die durch Videos ausgelöste Gehirnaktivität in die semantischen Merkmale der entsprechenden Bildunterschriften übersetzen. Ein nachgeschalteter Algorithmus erzeugte schrittweise Wortfolgen, die am besten mit den dekodierten neuronalen Mustern übereinstimmten.

Die Methode zeigte zudem Generalisierungsfähigkeit, indem sie auch erinnerte Inhalte verbalisieren konnte. Dies etabliert das System als eine interpretative Schnittstelle zwischen mentalen Repräsentationen und Text. Besonders bemerkenswert ist, dass das System detaillierte Beschreibungen liefern konnte, ohne sich auf die Aktivität in den für Sprache zuständigen Hirnregionen zu stützen. Dies legt nahe, dass bedeutungstragende semantische Informationen über verschiedene Hirnareale verteilt sind, die visuelle und kontextuelle Informationen verarbeiten.

Der Wert dieser Entdeckung liegt in ihrem Potenzial, Kommunikationsfähigkeiten für Menschen mit Sprachschwierigkeiten, wie Aphasie, wiederherzustellen und gleichzeitig zu beleuchten, wie das Gehirn das Gesehene kodiert. Horikawa merkte an, dass das System für den praktischen Einsatz noch nicht ausreichend präzise sei und primär auf normalen Videoszenen getestet wurde. Dennoch markiert es einen Fortschritt, der neue Perspektiven für Patienten mit Läsionen in den Sprachnetzwerken eröffnet.