Les prix ELLIS et Google valorisent la recherche en IA à l'EPFL

« Ces deux prix constituent une formidable reconnaissance pour le laboratoire et pour l'EPFL dans le domaine de l'apprentissage automatique. Ils soulignent également l'importance de fonder les progrès actuels de l'IA sur la théorie », déclare Nicolas Flammarion, professeur et directeur du laboratoire TML.

« Les travaux de Maksym sur la sécurité et la résistance aux attaques et ceux de Francesco sur l'interprétabilité répondent à deux défis centraux pour les modèles modernes : la fiabilité et la compréhension. Ce que je trouve particulièrement intéressant, c'est que ces deux projets adoptent une approche théorique rigoureuse tout en fournissant des résultats concrets qui peuvent éclairer la manière dont nous construisons et déployons les systèmes actuels. »

Maksym Andriushchenko

Andriushchenko a reçu le prix ELLIS PhD Award pour sa thèse intitulée « Understanding Generalization and Robustness in Modern Deep Learning » , qui a également été récompensée par le prix Patrick Denantes Memorial Prize pour la meilleure thèse du département d'informatique de l'EPFL, et a bénéficié du soutien des bourses Google et Open Phil AI PhD Fellowships.

Sa thèse abordait des questions fondamentales sur les raisons pour lesquelles les réseaux profonds modernes peuvent être facilement trompés tout en conservant une bonne généralisation, en développant des méthodes d'entraînement adverses efficaces, en identifiant le surajustement catastrophique, en proposant des attaques de type « boîte noire » efficaces en termes de requêtes, et en créant le benchmark RobustBench utilisé pour l'évaluation standardisée de la robustesse. Il a également montré comment les algorithmes façonnent les caractéristiques apprises et les performances des tests, et a fourni des preuves rigoureuses que de nombreuses mesures de « netteté » populaires reflètent principalement les paramètres d'entraînement au lieu de prédire véritablement la qualité de la généralisation des modèles.

« Je suis très honoré de recevoir ce prix prestigieux », déclare Maksym Andriushchenko. « Je suis extrêmement reconnaissant envers mes directeurs de thèse et de master, le professeur Nicolas Flammarion et le professeur Matthias Hein, qui m'ont tant appris sur l'apprentissage automatique et m'ont aidé à façonner mes goûts en matière de recherche. »

Andriushchenko est actuellement chercheur principal à l'Institut ELLIS de Tübingen et à l'Institut Max Planck pour les systèmes intelligents, où il dirige le groupe AI Safety and Alignment (Sécurité et alignement de l'IA). Il est également responsable d'un chapitre de la nouvelle édition du rapport international sur la sécurité de l'IA et a déjà collaboré sur la sécurité de l'IA avec des organisations de premier plan telles que OpenAI, Anthropic, l'Institut britannique pour la sécurité de l'IA, le Centre pour la sécurité de l'IA et Gray Swan AI.

Il s'agit du deuxième prix ELLIS décerné à un étudiant de l'EDIC depuis 2019.

Francesco D’Angelo

D’Angelo est actuellement doctorant au laboratoire TML, où il travaille sur l'interprétabilité dans le domaine de l'IA. Sa Google Fellowship couvrira son salaire pour les deux prochaines années ainsi que d'autres dépenses, et lui permettra également de bénéficier des conseils d'un mentor de Google avec lequel il pourra discuter de ses recherches.

« Cette bourse me permet de comprendre les axes de recherche d'une entreprise pionnière, ce qui m'aide à combler le fossé entre la théorie et les défis du monde réel », explique Francesco D'Angelo.

Les bourses Google sont attribuées à « des étudiants diplômés exceptionnels qui mènent des recherches pionnières en informatique et dans des domaines connexes, dans le but de soutenir la prochaine génération de scientifiques qui se concentrent sur les sciences fondamentales essentielles », selon le communiqué de presse de Google.

D'Angelo a commencé son doctorat à l'EPFL en étudiant la dynamique fondamentale de l'entraînement des réseaux neuronaux, en examinant plus particulièrement comment la décroissance des poids, une technique de régularisation, influence la manière dont les modèles généralisent les nouvelles données. À mesure que le domaine s'est orienté vers les Transformers à grande échelle, il s'est intéressé à l'interprétabilité mécanistique afin de découvrir le fonctionnement interne de ces modèles.

Depuis, il a depuis exploré la manière dont les modèles apprennent à filtrer sélectivement les informations et à se concentrer sur les motifs pertinents, en identifiant les mécanismes spécifiques qui leur permettent de traiter des séquences complexes. Aujourd'hui, ses recherches visent à rétroconcevoir les circuits computationnels qui permettent l'apprentissage contextuel. En étudiant la manière dont les Transformers traitent les tâches synthétiques, il cherche à démontrer que ces modèles ne se contentent pas de cartographier des motifs, mais qu'ils organisent leurs poids de manière à mettre en œuvre des algorithmes.

« On peut vraiment voir les couches d'attention s'organiser dans ces structures précises, et on veut alors comprendre comment elles se combinent entre elles et ce qu'elles mettent en œuvre », explique-t-il.

Il est impatient de poursuivre ses recherches à l'EPFL et envisage de faire un post-doctorat après avoir obtenu son doctorat.