Un cadre d'entrainement open-source pour optimiser l'IA multimodale

Les grands modèles de langage (LLM) tels que ChatGPT d’OpenAI ont transformé la manière dont beaucoup d’entre nous accomplissent certaines tâches quotidiennes. Ces robots conversationnels basés sur l’intelligence artificielle générative sont entraînés avec un langage – des centaines de téraoctets de texte «copié» sur Internet et avec des milliards de paramètres.

A l’avenir, les «moteurs» qui alimenteront l’intelligence artificielle générative seront des modèles multimodaux non seulement entraînés sur du texte, mais aussi capables de traiter diverses autres types d’information, notamment des images, des vidéos, des sons et des éléments d’autres domaines tels que les données biologiques ou atmosphériques.

Jusqu’à récemment, l’entraînement d’un modèle unique afin de traiter un vaste ensemble de modalités – les inputs – et de tâches – les outputs – se heurtait à de grandes difficultés. Par exemple, l’entraînement avait souvent pour conséquence de diminuer les performances par rapport aux modèles monotâches et nécessitait généralement des stratégies minutieuses pour réduire les pertes de qualité et maximiser la précision. En outre, l’entraînement d’un réseau sur des modalités telles que le texte, les images ou les vidéos, qui varient considérablement, présentait des difficultés supplémentaires, et les informations essentielles relatives à certaines modalités étaient souvent négligées à tort par le modèle.

Une modélisation multimodale

Dans le cadre d’un projet pluriannuel mené avec le soutien d’Apple en Californie, une équipe du Laboratoire d’intelligence et d’apprentissage visuels (VILAB) de la Faculté informatique et communications (IC) de l’EPFL a développé 4M, pour modélisation masquée massivement multimodale, l’un des réseaux neuronaux uniques les plus avancés au monde, capable de traiter un vaste ensemble de tâches et de modalités.

Les chercheuses et chercheurs ont décrit les avancées de 4M par rapport aux capacités des modèles existants dans un article présenté en décembre lors de la NeurIPS 2024, la conférence annuelle sur les systèmes de traitement de l’information neuronale (pour plus d’informations techniques, voir en bas d’article).

«Grâce à 4M, nous disposons désormais d’un modèle riche qui peut interpréter plus que le langage. Pourquoi est-ce important? L’une des critiques les plus fréquentes des LLM est que leurs connaissances ne sont pas fondées parce que les données d’entraînement sont limitées au langage», explique le professeur assistant Amir Zamir, responsable du VILAB.

«Lorsque nous passons à la modélisation multimodale, nous n’avons pas à nous limiter au langage. Nous apportons d’autres modalités, y compris des capteurs. Par exemple, nous pouvons communiquer sur une orange à l’aide du mot “orange”, comme dans les modèles de langage, mais aussi par une collection de pixels, indiquant à quoi ressemble l’orange, ou par le sens du toucher, capturant la sensation de toucher une orange. Si vous assemblez différentes modalités, vous obtenez une encapsulation plus complète de la réalité physique que nous essayons de modéliser», poursuit-il.

Vers un modèle générique open source pour une large utilisation

Malgré ces avancées impressionnantes, Amir Zamir affirme que le développement de 4M a présenté de curieux défis, dont le fait que le modèle ne développe pas une représentation véritablement unifiée entre les modalités, et il a sa propre théorie sur les raisons.

«Nous pensons que, secrètement, sous le capot, les modèles trichent et créent un petit ensemble de modèles indépendants. Un ensemble de paramètres résout un problème, un autre ensemble de paramètres en résout un autre, et, collectivement, ils semblent résoudre le problème global. Mais ils n’unifient pas vraiment leurs connaissances d’une manière qui permette une représentation conjointe compacte de l’environnement qui constituerait un bon portail vers le monde.»

L’équipe du VILAB poursuit son travail de structuration et d’unification de 4M, dans le but de développer une architecture générique open source, permettant aux expertes et experts d’autres domaines de l’adapter à leurs besoins spécifiques, comme la modélisation climatique ou la recherche biomédicale. Elle travaille aussi sur d’autres aspects importants, tels que l’augmentation de l’évolutivité et les méthodes de spécialisation des modèles aux contextes de déploiement.

«L’intérêt du libre accès est que les gens peuvent adapter le modèle pour eux-mêmes avec leurs propres données et leurs propres spécifications. 4M arrive au bon moment et nous sommes particulièrement enthousiastes à l’idée que d’autres domaines adoptent cette ligne de modélisation pour leurs cas d’utilisation spécifiques. Nous sommes impatients de voir où cela nous mènera. Mais les défis sont encore nombreux et il reste beaucoup à faire», estiment Oguzhan Fatih Kar et Roman Bachmann, assistants-doctorants au VILAB et coauteurs de l’article.

L’expérience de 4M et les problèmes fascinants sur lesquels l’équipe continue de travailler soulèvent, selon Amir Zamir, des questions intéressantes sur le développement futur des modèles de fondation. «En tant qu’êtres humains, nous avons cinq sens principaux. En outre, nous apprenons efficacement le langage, ce qui ajoute des caractéristiques et une structure aux connaissances qui étaient déjà enracinées dans ces autres sens. C’est le contraire avec l’IA actuelle. Nous avons des modèles de langage sans accès sensoriel au monde, mais qui sont entraînés à l’aide de données et de ressources informatiques colossales. Notre objectif est d’étudier le rôle de la multimodalité et de développer un modèle universel fondé qui puisse être utilisé efficacement en aval.»