On a reconstruit le film de notre pensée visuelle

Une équipe de chercheurs américains a mis au point un système d'imagerie capable de visualiser les informations produites par le cerveau.

Le professeur Jack Gallant, neurologue à l’Université de Californie à Berkeley (UCB) et ses collègues ont utilisé un système d'imagerie par résonance magnétique fonctionnelle (IRMf) et des modèles informatiques pour décoder et reconstruire les stimuli visuels dynamiques de plusieurs dizaines da patients volontaires. L'expérience consista à interpoler les signaux émis par le cortex visuel et à reconstruire l'image ou le film résultant. Le résultat prouve que le cerveau reconstruit des images en couleurs de ce que l'on voit ou imagine.

Une fenêtre sur l'esprit

"Nous avons ouvert une fenêtre sur le cinéma de nos esprits", a déclaré le professeur Gallant. Cette technologie permet de reproduire les films que nous formons dans notre tête, comme les souvenirs ou les rêves. “C’est un grand bond vers la reconstruction de l’imagerie interne", a déclaré le professeur Gallant.
Autre point positif : cette la technologie pourrait permettre de voir dans l’esprit des personnes qui ne peuvent pas communiquer verbalement, comme les victimes d’AVC, les patients dans le coma et les personnes atteintes de maladies neurodégénératives. Elle peut aussi jeter les bases d’une interface cerveau-machine, afin que les personnes atteintes de paralysie cérébrale aient la possibilité, par exemple, de guider les ordinateurs avec leurs esprits.

Le professeur Gallant précise toutefois que ce n'est pas demain que cette technologie permettra à des savants fous de lire nos pensées et nos intentions !

Principe de l'expérience

Le professeur Gallant et son équipe ont tout d'abord enregistré l’activité cérébrale de trois membres de l'équipe servant de cobayes qui regardaient des images en noir et blanc. Ils ont ensuite construit un modèle informatique qui leur a permis de prédire avec précision quelle image le sujet regardait.

Ensuite les chercheurs ont effectué le décodage des signaux du cerveau produit par des images animées.

L'expérience fut éproruvante car les volontaires ont dû rester immobiles à l’intérieur de l’IRMf pendant des heures. Ils ont regardé deux ensembles distincts de bandes-annonces de films hollywoodiens, alors que l’IRMf était utilisée pour mesurer le flux sanguin dans le cortex visuel, la partie du cerveau qui traite l’information visuelle.

Sur l’ordinateur, le cerveau a été divisé en un réseau tridimensionnel (des pixels volumétriques ou voxels) afin de construire un modèle informatique du cerveau. “Nous avons construit un modèle pour chaque voxel qui décrit comment la forme et l’information de mouvement, dans le film, sont mappées dans l’activité du cerveau", a déclaré Nishimoto, l'un des chercheurs volontaires de l'expérience.

L'enregistrement de l'activité cérébrale a ensuite introduit dans le programme informatique qui a appris, seconde par seconde, d'associer des modèles visuels du film avec l’activité cérébrale correspondante. L’activité cérébrale induite par la deuxième série de films a été utilisée pour tester l’algorithme de reconstruction du film. Il aura fallu alimenté le programme informatique de 18 millions de secondes de vidéos YouTube prises au hasard, afin qu’il puisse prédire l’activité du cerveau que chaque clip pouvait probablement évoquer dans chaque sujet.

Finalement, les 100 vidéos que le programme informatique a estimé être les plus similaires au clip que le sujet avait vu, ont été fusionnées pour produire une reconstruction en continu du film original.

Ce sont ces films qui sont présentés ci-dessus. L'expérience est un succès car on aperçoit assez bien les couleurs et les formes, même si le film de l'activité cérébrale manque encore de détails.