Peneliti Jepang Terjemahkan Aktivitas Otak Menjadi Teks Deskriptif Melalui 'Mind-Captioning'

Para peneliti di Jepang mengumumkan kemajuan signifikan dalam neurosains dengan memperkenalkan teknik baru yang dinamakan "mind-captioning" atau penandaan pikiran. Metode inovatif ini mampu menerjemahkan pola aktivitas otak manusia secara langsung menjadi teks deskriptif yang koheren, membuka jalan baru dalam interpretasi citra mental yang kompleks.

Penelitian perintis ini, yang dipublikasikan pada 5 November 2025 dalam jurnal Science Advances, dipimpin oleh Tomoyasu Horikawa dari Laboratorium Ilmu Komunikasi NTT di Jepang. Proyek ini melibatkan enam partisipan yang menjalani pemindaian pencitraan resonansi magnetik fungsional (fMRI) saat mereka menyaksikan 2.180 klip video senyap yang menampilkan berbagai konten visual, termasuk objek, aksi, dan interaksi sosial. Horikawa dan timnya berhasil mengembangkan kerangka kerja yang menghasilkan kalimat deskriptif yang secara akurat mencerminkan konten visual yang diamati subjek, hanya berdasarkan data fMRI mereka.

Nilai fundamental dari temuan ini terletak pada potensi aplikasinya, terutama dalam menyediakan sarana komunikasi bagi individu yang mengalami kesulitan bicara, seperti penderita afasia, sekaligus memperdalam pemahaman tentang bagaimana otak mengkodekan informasi visual. Metode ini secara khusus mengatasi tantangan dalam menerjemahkan konten mental yang terstruktur dan kompleks terkait semantik visual, yang sulit dicapai oleh dekode berbasis kata tunggal sebelumnya. Horikawa mencatat bahwa metode ini berhasil menghasilkan deskripsi bermakna untuk konten yang dilihat maupun yang diingat kembali, bahkan tanpa bergantung pada jaringan bahasa kanonik di otak.

Implementasi teknis "mind-captioning" melibatkan pemetaan aktivitas otak yang diinduksi video menjadi fitur semantik menggunakan model bahasa mendalam. Selanjutnya, model dekode linier memetakan fitur semantik terdekode dari otak ke deskripsi kandidat, yang kemudian dioptimalkan secara iteratif hingga keselarasan fitur semantik tercapai. Menariknya, deskripsi yang dapat dipahami tetap dihasilkan meskipun area bahasa fronto-temporal dikecualikan dari analisis, mengindikasikan bahwa representasi semantik terstruktur tersebar di luar jaringan bahasa tradisional.

Studi ini menunjukkan akurasi yang terukur dalam pengujian, di mana kecerdasan buatan mampu mendeskripsikan adegan yang ditonton dengan akurasi sekitar 50% dari 100 pilihan kandidat. Lebih lanjut, sistem ini menunjukkan kemampuan mendeskripsikan ingatan yang dipanggil kembali dengan akurasi hingga 40%, membuktikan kemampuannya mengakses citra mental dan memori. Meskipun demikian, Horikawa menekankan bahwa teknologi ini belum dapat membaca pikiran pribadi secara mudah atau akurat untuk penggunaan praktis sehari-hari.

Pengembangan ini menandai pergeseran dari spekulasi fiksi ilmiah menuju prototipe tahap awal dalam penerjemahan aktivitas otak manusia. Dengan fokus pada interpretasi representasi nonverbal yang mendahului pembentukan kata, penelitian ini membuka jalur komunikasi alternatif bagi mereka yang memiliki keterbatasan ekspresi bahasa. Penelitian lanjutan akan terus mengelaborasi bagaimana otak mengintegrasikan dan mentransformasi informasi multifaset untuk membangun pengalaman sadar.