Quand l'IA s'aligne sur l'intelligence humaine
Multi colored and connected polygons shaped of human brain symbolizing neural connections in brain and artificial intelligence © iStock
Des scientifiques de l’EPFL ont découvert des «unités» dans les grands modèles d’IA qui semblent essentielles pour le langage, reflétant le système de langage du cerveau. Lorsque ces unités spécifiques ont été désactivées, les modèles ont été nettement moins efficaces pour les tâches linguistiques.
Les grands modèles de langage (LLM) ne sont pas seulement performants pour comprendre et utiliser le langage, ils peuvent aussi raisonner ou penser de manière logique et résoudre des problèmes. Certains d’entre eux peuvent même prédire les pensées, les croyances ou les émotions des personnes avec lesquelles ils interagissent.
Malgré ces prouesses impressionnantes, nous ne comprenons toujours pas parfaitement comment les LLM fonctionnent, en particulier lorsqu’il s’agit de la manière dont différents modules ou unités accomplissent différentes tâches. Ainsi, les chercheuses et chercheurs du laboratoire NeuroAI, qui fait partie à la fois de la Faculté informatique et communications (IC) et de la Faculté des sciences de la vie (SV), ainsi que du Laboratoire de traitement du langage naturel (IC), ont voulu savoir si les LLM disposaient d’unités ou de modules spécialisés pour des tâches spécifiques. Cela s’inspire des réseaux qui ont été découverts dans le cerveau humain, tels que le réseau du langage, le réseau à demandes multiples et le réseau de la théorie de l’esprit.
Dans un article présenté ce mois-ci à la 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics,à Albuquerque, aux États-Unis, les chercheuses et chercheurs expliquent comment ils ont étudié 18 LLM populaires et constaté que certaines unités semblent effectivement constituer un réseau central axé sur le langage.
«En nous inspirant d’approches des neurosciences, qui ont cartographié l’organisation fonctionnelle de notre cerveau, nous avons comparé l’activité d’une unité lors de la lecture de phrases réelles par rapport à la lecture de listes de mots aléatoires. Les unités qui réagissaient le plus activement à des phrases réelles ont ensuite été identifiées comme des “unités sélectives du langage”, tout comme le réseau du langage de notre cerveau», explique le professeur assistant Martin Schrimpf, responsable du laboratoire NeuroAI.
Moins de 100 neurones vraiment pertinents
Pour vérifier le rôle causal des unités sélectives du langage qu’ils avaient identifiées, les scientifiques ont supprimé ces unités et, séparément, ont retiré différents ensembles d’unités aléatoires. Puis, ils ont comparé les différences dans ce qui s’est passé ensuite. Lorsque les unités sélectives du langage ont été supprimées – mais pas les unités aléatoires – les modèles n’étaient plus en mesure de produire un texte cohérent et étaient incapables d’obtenir de bons résultats sur les repères linguistiques.
«Les résultats montrent que ces unités sont vraiment importantes pour le modèle. La principale surprise pour nous, c’est qu’il y a probablement moins de 100 neurones – environ 1 % des unités – qui semblent être extrêmement pertinents pour tout ce qui concerne la capacité d’un modèle à produire et à comprendre le langage et, lorsqu’ils sont perturbés, le modèle échoue soudain complètement», explique Badr AlKhamissi, assistant-doctorant aux laboratoires NeuroAI et NLP, et auteur principal de l’article.
«Il existe des recherches sur l’apprentissage machine et l’interprétabilité qui ont permis d’identifier certains réseaux ou unités dans un modèle pertinent pour le langage. Mais cela a nécessité beaucoup d’entraînement, et c’était bien plus compliqué que d’utiliser le même localisateur qu’en neurosciences humaines. Nous ne nous attendions pas vraiment à ce que cela fonctionne aussi bien», poursuit-il.
Outre les unités sélectives du langage, cela a soulevé une autre question: les mêmes localisateurs conçus pour identifier d’autres réseaux cérébraux, tels que le réseau de la théorie de l’esprit et le réseau à demandes multiples, pourraient-ils également être appliqués aux LLM?
À l’aide de ces localisateurs, les équipes de l’EPFL ont tenté d’évaluer si d’autres unités des modèles étaient spécialisées dans le raisonnement ou la pensée sociale. Ils ont constaté que certains modèles possédaient ces unités de tâches spécifiques, contrairement à d’autres.
Des recherches au-delà du langage
«Dans certains modèles, nous avons trouvé des unités de raisonnement et de pensée spécialisées, mais pas dans d’autres. Maintenant la question intéressante est de savoir d’où cela vient-il? Pourquoi certains modèles ont-ils cette préférence? Est-ce lié à leurs performances sur des repères connexes? Si vous avez des unités un peu isolées, est-ce que cela permet au modèle de faire mieux? Cela est peut-être lié à la manière dont les modèles sont entraînés ou aux données sur lesquelles ils sont entraînés, et c’est une piste pour d’autres recherches», affirme Martin Schrimpf.
D’autres recherches futures seront menées pour comprendre ce qui se passe dans les modèles multiples – des modèles qui ne sont pas seulement entraînés sur le texte, mais qui peuvent aussi traiter de nombreuses autres modalités d’information, y compris les images, la vidéo et le son.
«Cela m’intéresse vraiment beaucoup, car en tant qu’être humain, nous fonctionnons sur la parole et les données visuelles. Or, si nous utilisons un modèle multimodal et que nous lui donnons, par exemple, le langage comme donnée visuelle, à l’instar des personnes qui lisent un texte, aura-t-il les mêmes déficits linguistiques que lorsque nous avons supprimé le réseau du langage dans les LLM par rapport à une tâche visuelle où il doit identifier différents objets ou entreprendre un raisonnement mathématique? Ceux-ci resteront-ils intacts?», s’interroge Badr AlKhamissi.
De manière générale, les scientifiques estiment que ces études contribuent à résoudre l’énigme du fonctionnement interne des grands modèles de langage, en se référant aux neurosciences et en établissant des liens avec le fonctionnement du cerveau humain.
«Si l’on pense aux dommages causés au réseau du langage dans le cerveau des personnes qui ont subi un AVC, il arrive souvent que celles-ci souffrent de graves troubles du langage alors que tout le reste est intact. C’est très similaire ici avec la composante linguistique du LLM qui ne fait que produire du charabia et, bien que nous n’ayons pas testé cela, il pourrait probablement encore bien fonctionner sur tout le reste. Nous espérons que ces modèles nous aideront à mieux nous comprendre et à mieux comprendre notre cerveau, ce qui ouvrira la voie à de meilleurs diagnostic et traitement des maladies», conclut Martin Schrimpf.
Le laboratoire NeuroAI fait partie de l’Institut Neuro-X de l’EPFL, une communauté collaborative et interdisciplinaire qui réunit des équipes de la Faculté informatique et communications, de la Faculté des sciences de la vie et de la Faculté des sciences et techniques de l’ingénieur de l’EPFL.