Un nouveau modèle de langage d'IA qui imite l'organisation du cerveau
AI futuristic technology in language and communication © iStock
Des chercheuses et chercheurs de l’EPFL ont mis au point le premier modèle de langage d’IA capable de saisir à la fois la disposition des neurones et leur fonctionnement dans le cerveau.
Notre cerveau est un organe très organisé. Les neurones, c’est-à-dire les cellules nerveuses responsables de la transmission des signaux électriques et chimiques dans tout le corps, sont organisés sur les tissus et ont tendance à se rassembler en groupes selon leur mode de fonctionnement. Par exemple, des études sur le langage ont révélé qu’il existe des clusters de neurones qui semblent être spécialisés dans les verbes et d’autres qui se concentrent spécifiquement sur les noms. Mais les chercheuses et chercheurs ne savent pas exactement comment ces groupes fonctionnels se forment.
Les modèles de langage d’IA précédents ont réussi à saisir ces clusters individuels de neurones fonctionnels, mais n’ont pas examiné leur disposition spatiale dans le cerveau.
Des chercheuses et chercheurs du Laboratoire NeuroAI qui fait partie de la Faculté informatique et communications (IC) et de la Faculté des sciences de la vie (SV), ont créé TopoLM, un nouveau modèle de langage d’IA qui imite à la fois le regroupement fonctionnel des neurones et, pour la première fois, la disposition spatiale de ces cellules nerveuses dans le cerveau.
«En nous appuyant sur les travaux concernant le traitement de la vision par le cerveau, nous avons apporté quelques changements relativement mineurs à la façon dont un modèle de langage s’organise en interne, en ajoutant une règle qui encourage les représentations internes du modèle à être “fluides” spatialement. Le modèle TopoLM qui en résulte développe des clusters spatiaux de ses composants internes qui correspondent fonctionnellement à l’activité que nous observons dans le cerveau humain lorsqu’il traite le langage», explique le professeur assistant Martin Schrimpf, responsable du Laboratoire NeuroAI.
Dans leur article intitulé TopoLM: Brain-Like Spatio-Functional Organization in a Topographic Language Model, l’un des moins de 2% des articles sélectionnés pour être présentés oralement cette semaine à l’ICLR 2025, la Conférence internationale sur les représentations de l’apprentissage, les chercheuses et chercheurs expliquent comment TopoLM a réussi à prédire la manière dont le système de langage dans la couche externe du cerveau, le cortex, développe son organisation spatio-fonctionnelle.
«Il s’agissait d’une recherche fondamentale visant à comprendre l’origine des clusters spatiaux ou des clusters fonctionnels dans le cerveau. Ce nouveau modèle suggère qu’ils pourraient être régis par une règle de base unique sur l’organisation spatiale, selon laquelle les neurones proches ont simplement tendance à se comporter de la même manière», poursuit Martin Schrimpf.
Les chercheuses et chercheurs estiment que TopoLM fournit un cadre pour améliorer l’alignement fonctionnel de l’IA sur la cognition humaine, offrant des applications directes au développement de l’informatique inspirée du cerveau et de la neurolinguistique.
«Il s’agit d’une étape passionnante vers la création de systèmes d’intelligence artificielle qui s’organisent davantage comme le cerveau humain. L’un de nos principaux objectifs est de concevoir de meilleurs modèles du cerveau en général. Avec TopoLM, nous nous rapprochons d’applications cliniques qui pourraient nous permettre d’aider les personnes souffrant de troubles du langage ou de déficits linguistiques similaires», indique Badr AlKhamissi, assistant-doctorant au Laboratoire NeuroAI et au Laboratoire de traitement du langage naturel (NLP) de la faculté IC et l’un des auteurs de l’article.
Ces travaux mettent également en lumière l’interprétabilité, c’est-à-dire la compréhension de ce qui se passe à l’intérieur des grands modèles de langage (LLM) complexes et de leur fonctionnement réel. Normalement, les LLM ont des représentations mathématiques appelées «vecteurs» associés à chaque «neurone» artificiel. Pour comprendre ce que le modèle a appris, il faudrait analyser chaque vecteur individuellement ou en petits groupes.
Étant donné que TopoLM organise ses composants internes en clusters, il est possible de les examiner et de voir émerger des regroupements significatifs. Il est ainsi plus facile d’avoir une idée de la façon dont le modèle représente et traite le langage, car l’organisation elle-même reflète des catégories significatives.
Alors, quelle est la prochaine étape de cette recherche de pointe? L’équipe de recherche de l’EPFL va maintenant tester les prédictions du modèle dans le cerveau humain.
«Ce modèle fonctionne si bien et mieux que prévu que nous voulons tester si ses prédictions sont vraies. Il y a des clusters dans le modèle que nous n’avons pas encore observés dans le cerveau humain parce que personne ne les a encore cherchés. Nous collaborerons avec des collègues des États-Unis qui travaillent expérimentalement avec des êtres humains pour mener une nouvelle étude d’imagerie afin de déterminer si ces clusters apparaissent également dans le cerveau humain», conclut Martin Schrimpf.
Badr AlKhamissi, Neil Rathi et Hannes Mehrer ont tous collaboré avec Martin Schrimpf au développement du modèle TopoLM.
Le Laboratoire NeuroAI fait partie de l’Institut Neuro-X de l’EPFL, une communauté collaborative et interdisciplinaire qui réunit des équipes de la Faculté informatique et communications, de la Faculté des sciences de la vie et de la Faculté des sciences et techniques de l’ingénieur de l’EPFL.