Vous avez probablement des dizaines de milliers de photos qui dorment sur votre disque dur — quelques centaines de Go, voire jusqu’à 1 To si vous êtes à l’aise en stockage. Cela peut sembler beaucoup, mais comparé à votre cerveau… c’est presque rien.
Votre cerveau, lui, stocke des décennies de souvenirs, dans environ 1,5 kg de matière organique qui consomme moins qu’une ampoule LED. Et la question est : Comment fait-il ?
Coup d’œil sur une recherche surprenante
Une équipe du Weizmann Institute of Science a publié un projet nommé Brain‑IT (« Image Reconstruction from fMRI via Brain-Interaction Transformer ») qui pourrait bien nous donner des indices. arXiv+2amitzalcher.github.io+2
Voici en résumé ce qu’ils ont fait :
-
Ils utilisent des données d’imagerie par résonance magnétique fonctionnelle (fMRI) pendant que le sujet regarde une image. Hugging Face+1
-
Puis ils reconstruisent une version de l’image (ce que la personne a vu) à partir de ces signaux cérébraux. arXiv+1
-
Le modèle s’appelle Brain Interaction Transformer (BIT). Il fonctionne en deux phases :
-
On repère des clusters fonctionnels de voxels (les voxels sont l’équivalent 3D du pixel, chaque voxel représentant des milliers de neurones). Ces clusters sont partagés entre sujets — ce qui suggère que nos cerveaux utilisent des « bibliothèques visuelles primitives » communes. amitzalcher.github.io+1
-
Le BIT prédit deux types de caractéristiques qui serviront à la reconstruction :
- des traits de bas niveau structurels (formes, contours)
- des traits sémantiques de haut niveau (ce que c’est : chat, arbre, etc.) arXiv+1
-
-
Résultat : avec seulement 1 heure de données fMRI d’un nouveau sujet, le modèle atteint des performances comparables à ce que d’autres méthodes nécessitaient : 40 heures de données. amitzalcher.github.io+1
Pourquoi c’est fascinant
-
Cela suggère que notre cerveau compresse les images de manière extrêmement efficace : il ne stocke pas chaque pixel individuellement, mais extrait/synthétise des schémas de base, des primitives visuelles, une sorte de « bibliothèque interne ».
-
Cela ouvre des perspectives : si on comprend comment le cerveau compresse, on pourrait s’inspirer pour créer des algorithmes de compression ultra-efficaces pour les ordinateurs, les vidéos, le streaming.
-
Le fait que les clusters soient partagés entre personnes est très intriguant : cela suggère une base visuelle commune, un « langage visuel cérébral ».
Implications concrètes
-
Imaginez un format vidéo/streaming qui utilise 1/40ème de la bande passante actuelle parce qu’il imite ce que fait votre cerveau.
-
Imaginez que l’IA soit entraînée en s’inspirant de ce mécanisme, nécessitant beaucoup moins de données pour apprendre à reconnaître un visage ou un objet.
-
On pourrait même envisager, à terme, la reconstruction d’images imaginées ou de rêves (bien que pour l’instant, les tests sont sur ce que l’on voit, pas ce que l’on imagine) : « capter vos rêves en image ».
Quelques limites à garder en tête
-
Ces recherches sont préliminaires. Même si les résultats sont bons, ce n’est pas encore du « mind-reading » tel que dans la science-fiction.
-
Le fMRI a une résolution temporelle limitée, ce qui rend difficile de capturer des images rapides ou très complexes. wisdom.weizmann.ac.il+1
-
Il reste encore beaucoup à faire pour passer de « voir ce qu’on a vu » à « voir ce qu’on imagine ».
Conclusion
Notre cerveau est sans doute le meilleur système de compression d’images jamais créé, et nous commençons à peine à comprendre comment il fonctionne. Le projet Brain-IT nous donne un aperçu fascinant de ce mécanisme : clusters visuels partagés, double-étage structure + sémantique, et résultats impressionnants avec peu de données.