Technique japonaise de « légendage mental » traduit l'activité cérébrale en texte descriptif

Des chercheurs japonais ont dévoilé une méthodologie en neurosciences computationnelles, baptisée « mind-captioning » ou légendage mental, capable de convertir l'activité neuronale en séquences textuelles descriptives. Cette technique utilise l'imagerie par résonance magnétique fonctionnelle (IRMf) pour capturer les signaux cérébraux et les transpose en langage articulé, ouvrant une nouvelle perspective sur l'interprétation des images mentales complexes.

Le projet, piloté par Tomoyasu Horikawa des Laboratoires de Science de la Communication de NTT au Japon, a été détaillé dans la revue Science Advances le 5 novembre 2025. L'expérimentation a impliqué six volontaires, locuteurs natifs japonais, qui ont visionné 2 180 clips vidéo muets tout en étant soumis à une surveillance par IRMf. L'IRMf mesure l'activité cérébrale via les variations hémodynamiques locales basées sur l'effet BOLD (Blood Oxygen Level Dependant).

La méthode repose sur une approche en deux étapes: d'abord, des modèles de décodage linéaires traduisent l'activité cérébrale induite par les vidéos en caractéristiques sémantiques, puis un modèle de langage optimise itérativement des descriptions candidates pour les aligner avec ces caractéristiques décodées. Cette approche a permis de générer des phrases cohérentes reflétant fidèlement le contenu visuel observé, et ce, en se basant exclusivement sur les données IRMf. Les résultats ont démontré une capacité à générer des descriptions structurées du contenu observé, et la méthode s'est même généralisée à la description de contenu imaginé.

Cette prouesse technique représente une étape significative dans l'établissement d'une interface entre l'activité neuronale et le langage, avec un potentiel d'application majeur pour les aides à la communication. Elle pourrait restaurer des capacités pour les individus souffrant de troubles de la parole, tels que ceux affectés par un accident vasculaire cérébral ou une sclérose latérale amyotrophique. L'approche japonaise se distingue par sa capacité à générer des descriptions détaillées d'objets, de lieux et d'actions, allant au-delà de la simple transcription de mots isolés.

Il est à noter que cette méthode génère du texte en anglais, même si les participants étaient japonais, et fonctionne sans s'appuyer sur l'activité des régions cérébrales traditionnellement associées au langage. Cette recherche confirme la viabilité des interfaces cerveau-ordinateur linguistiques non invasives pour interpréter des représentations cérébrales complexes, s'inscrivant dans une tendance plus large d'intégration de l'intelligence artificielle pour élucider les mécanismes neuronaux de l'esprit.