Prix ICML de l'article exceptionnel pour des chercheurs∙euses de IC
Neural network for artificial intelligence © iStock / EPFL 2023
L’article intitulé Generalization on the Unseen, Logic Reasoning and Degree Curriculum aborde le problème de la compréhension des capacités de raisonnement des réseaux neuronaux tels que les transformeurs, et de l’amélioration de ces modèles pour permettre de meilleures propriétés d’extrapolation.
La conférence internationale sur l’apprentissage machine (ICML) est l’une des conférences les plus importantes dans le domaine de l’apprentissage machine. Avec plus de 6 500 articles présentés en 2023, c’est aussi l’un des événements qui connaît la croissance la plus rapide.
Cette année, six articles ont été sélectionnés pour le prix de l’article exceptionnel, parmi lesquels l’article présenté par des chercheuses et chercheurs de la Faculté informatique et communications (IC) de l’EPFL et des collègues d’Apple. L’article Generalization on the Unseen, Logic Reasoning and Degree Curriculumexamine l’apprentissage de fonctions logiques (booléennes) en mettant l’accent sur le paramètre de généralisation de l’inconnu (GOTU), un solide cas de généralisation hors distribution.
Cela est motivé par le fait que la riche nature combinatoire des données dans certaines tâches de raisonnement (par ex., arithmétique/logique) rend difficile l’échantillonnage de données représentatives, et l’apprentissage réussi sous GOTU donne une première vignette d’une ou d’un apprenant qui «extrapole» ou «raisonne». Cet article montre notamment que les transformeurs ont tendance à avoir un «biais minimal» qui empêche l’extrapolation dans certains paramètres booléens.
«Nos résultats ont deux conséquences: ils nous ont permis de fournir une explication au problème de la généralisation de la longueur et ils ont entraîné le développement d’un algorithme d’apprentissage de curriculum appelé Degree-Curriculum qui apprend certaines fonctions difficiles plus efficacement en fournissant les données au modèle dans un ordre de complexité incrémentielle», explique le professeur Emmanuel Abbé, titulaire de la Chaire de science mathématique des données de l’EPFL.
Emmanuel Abbé espère que la recherche aboutira à d’autres développements sur la manière d’améliorer les architectures actuelles dans les tâches de raisonnement et notamment les tâches mathématiques.
Les six articles exceptionnels récompensés cette année ont marqué le 40e anniversaire de l’ICML. Selon le comité d’attribution des prix, la communauté ne manquera pas d’apprécier les contributions extrêmement importantes de ces articles.
L’article Generalization on the Unseen, Logic Reasoning and Degree Curriculum a été rédigé par Emmanuel Abbé (EPFL, Apple), Samy Bengio (Apple), Aryo Lotfi (EPFL) et Kevin Rizk (EPFL).