Emmanuel Abbé parmi les lauréats du prix de l'apprentissage profond
Emmanuel Abbé. Crédit: E. Abbé/EPFL
Deux équipes internationales de scientifiques ont reçu une subvention totale de 10 millions de dollars de la part de la Fondation Nationale des Sciences des États-Unis et de la Fondation Simons pour mener des recherches sur les mathématiques de l'apprentissage profond. Parmi eux, le professeur Emmanuel Abbé de l'EPFL.
Cette bourse est l'une des deux bourses de recherche parrainées par les directions de la Fondation Nationale des Sciences des États-Unis (National Science Foundation; NSF) pour les sciences mathématiques et physiques, les sciences et l'ingénierie informatiques et de l'information, et l'ingénierie, et la division des mathématiques et des sciences physiques de la Fondation Simons (Simons Foundation).
L'objectif de ces subventions était d'établir deux nouvelles collaborations de recherche entre des mathématiciens, des statisticiens, des ingénieurs électriciens et des informaticiens théoriques qui travailleront sur certaines des questions les plus difficiles dans le domaine général des Fondements mathématiques et scientifiques de l'apprentissage approfondi (MoDL).
La subvention NSF-Simons, d'un montant total de 10 millions de dollars, a été accordée à deux grandes équipes internationales de scientifiques qui se partageront le montant. L'une de ces équipes comprend le professeur Emmanuel Abbé, de la Faculté des sciences fondamentales de l'EPFL. Le professeur Abbé est titulaire de la chaire de science des données mathématiques de l'EPFL et ses recherches portent sur des questions fondamentales de l'apprentissage machine et de la théorie de l'information.
l’équipe qui comprend le Professeur Abbé comprend également des professeurs de l'UC Berkeley (P. Bartlett, B. Yu), de Stanford (A. Montanari), du MIT (E. Mossel, S. Rakhlin, N. Sun), de l'UCSD (M. Belkin), du TTIC (N. Srebro), de l'UCI (R. Vershynin) et de l'Université hébraïque de Jérusalem (A. Daniely).
À l'EPFL, la collaboration gérera également un "centre de formation" qui organisera diverses activités pour les visiteurs, des conférences, des ateliers, des écoles d'été, des programmes de post-doctorat.
"C'est un grand honneur de recevoir ce prix et un moment passionnant pour commencer une telle collaboration", déclare Emmanuel Abbé. "L'équipe a une synergie unique et je suis très heureux d'en faire partie. Nous sommes tous impatients de nous plonger maintenant dans le programme de recherche et de lancer les activités dans les différentes écoles".
Le succès de l'apprentissage approfondi a eu un impact majeur sur l'industrie, le commerce, la science et la société. Mais il existe de nombreux aspects de cette technologie qui sont très différents de la méthodologie classique et qui sont mal compris. L'acquisition d'une compréhension théorique sera cruciale pour surmonter ses inconvénients.
La Collaboration sur les fondements théoriques de l'apprentissage approfondi vise à relever ces défis : comprendre les mécanismes mathématiques qui sous-tendent le succès pratique de l'apprentissage approfondi, utiliser cette compréhension pour élucider les limites des méthodes actuelles et les étendre au-delà des domaines où elles sont actuellement applicables, et lancer l'étude de l'ensemble des problèmes mathématiques qui en découlent.
L'équipe a prévu une série de mécanismes pour faciliter la collaboration, notamment des réunions de recherche par téléconférence et en personne, un programme de post-doctorat organisé de manière centralisée et un programme de visites entre les institutions par les post-doctorants et les étudiants de troisième cycle.
Les résultats de la recherche issus de la collaboration ont un fort potentiel pour avoir un impact direct sur les nombreux domaines d'application de l'apprentissage approfondi. Elle aura également de vastes répercussions par le biais de ses programmes d'éducation, de développement des ressources humaines et d'élargissement de la participation, notamment en formant une cohorte diversifiée d'étudiants diplômés et de post-doctorants selon une approche qui met l'accent sur un encadrement solide, la flexibilité et l'étendue des possibilités de collaboration ; par le biais d'une université d'été annuelle qui dispensera un programme d'études sur les bases théoriques de l'apprentissage approfondi à un groupe diversifié d'étudiants diplômés, de post-doctorants et de professeurs débutants ; et en ciblant une participation plus large aux ateliers de recherche et aux universités d'été de la collaboration.
Le programme de recherche de la collaboration repose sur les hypothèses suivantes : le surparamétrage permet une optimisation efficace ; l'interpolation avec régularisation implicite permet la généralisation ; et la profondeur confère une richesse de représentation grâce à la composition. Il vise à formuler et à étudier rigoureusement ces hypothèses en tant que phénomènes mathématiques abstraits, avec pour objectif de comprendre l'apprentissage profond, d'étendre son applicabilité et de développer de nouvelles méthodes.
Au-delà de la possibilité de développer des méthodes améliorées d'apprentissage approfondi basées sur des techniques de conception fondées sur des principes, la compréhension des mécanismes mathématiques qui sous-tendent le succès de l'apprentissage approfondi aura également des répercussions sur les statistiques et les mathématiques, notamment un nouveau point de vue des méthodes statistiques classiques, telles que la reproduction des espaces de Hilbert et des forêts de décision, et de nouvelles orientations de recherche dans la théorie des matrices non linéaires et dans la compréhension des paysages aléatoires.
En outre, les ateliers de recherche que la collaboration organisera seront ouverts au public et serviront à l'ensemble de la communauté des chercheurs pour relever ces défis clés.