Une forte demande pour les compétences en machine learning
Arnout Devos et Luca Bertinetto de l'Université d'Oxford à la conférence ICLR 2019. © 2019 Arnout Devos
L’automne dernier, pour la première fois, les étudiants du cours de Machine Learning (CS-433) de la Faculté Informatique et Communications de l’EPFL (IC) ont eu la possibilité de travailler sur des projets réels pour leurs rendus finaux : ils pouvaient collaborer avec n’importe que laboratoire du campus sur des problématiques réelles, ou alors reproduire des résultats issus de la littérature scientifique. Au-delà de la création de sujets d’étude interdisciplinaires fascinants, certains travaux ont même pu être publiés.
Le cours CS-433 est enseigné au niveau master par le professeur d'IC Martin Jaggi, qui dirige également le Laboratoire d’optimisation du machine learning (MLO), ainsi que par le professeur Rüdiger Urbanke, qui dirige quant à lui le Laboratoire de théorie des communications (LTHC). Pour la première fois, à l’automne dernier, les étudiants ont été invité à dépasser les projets finaux classiques pour plutôt aller confronter leurs compétences en machine learning (ML) nouvellement acquises à des cas réels.
Des projets en machine learning au travers du campus (et des disciplines)
Une des options a mis au défi les étudiants de résoudre des problèmes interdisciplinaires proposés par divers groupes de recherche de l’EPFL, ou même de l’Université de Lausanne, du Centre Hospitalier Universitaire Vaudois ou encore du CERN.
« Il y a en ce moment une forte demande pour ces techniques dans plusieurs domaines de la science et de l’industrie. CS-433 est pour l’instant le cours de master le plus important à l’EPFL, nous avions donc la chance d’avoir cette importante ressource de 530 étudiants particulièrement motivés », déclare Martin Jaggi.
Une fois leur projet de ML défini, les étudiants travaillaient sur les données fournies par le laboratoire partenaire, le tout résultant en 50 travaux interdisciplinaires dans des domaines aussi variés que l’énergie solaire, la psychologie, la qualité de l’air, la musique classique ou la politique turque.
« Cela nous a rendu particulièrement heureux – habituellement, cela prend beaucoup plus longtemps de réussir à créer de nouvelles collaborations au travers des disciplines. Dans ce cas-ci, nous avons obtenu plus de 50 projets en l’espace de quelques mois, et beaucoup continuent aujourd’hui. Nous espérons que la prochaine fois il y en aura encore plus », continue Martin Jaggi.
A quel point les résultats du machine learning sont-ils reproductibles ?
Les étudiants pouvaient également choisir de participer au challenge de reproductibilité (RC) du « International Conference on Learning Representations » (ICLR). Le RC, qui en est à sa seconde édition, invite des chercheurs issus de la communauté du Machine Learning à sélectionner l’un des papiers soumis à la prestigieuse conférence ICLR, puis à tenter de reproduire – et donc valider – les résultats décrits.
Martin Jaggi explique : « C’est une chose magnifique car il y a des avantages pour les deux parties : les étudiants apprennent de l’expérience, et l’entièreté de la recherche en bénéficie quand les résultats sont validés ».
Huit équipes d’étudiants ont choisi cette option, y-compris les doctorants IC Arnout Devos et Sylvain Chatel, ainsi que les étudiants master Francesco Bardi, Samuel von Baussnern et Emilijano Gjiriti. Ces deux équipes ont vu leurs travaux publiés dans une édition spéciale du journal ReScience.
Francesco Bardi, Samuel von Baussnern et Emilijano Gjiriti ont travaillé sur le papier « Learning Neural PDE Solvers with Convergence Guarantees » (« Solveurs d’Equations Différentielles Partielles à Apprentissage Neural avec Garanties de Convergence »), par Jun-Ting Hsieh et al. Dans le papier original, les auteurs proposaient une approche utilisant diverses techniques de ML afin des résoudre des équations différentielles partielles (PDE). Les étudiants ont été capables de confirmer partiellement les résultats originaux, mais n’ont pas réussi à reproduire l’intégralité des données produites par le solveur de PDE entraîné.
En parallèle, Arnout Devos et Sylvain Chatel ont travaillé sur le papier « Meta-learning with differentiable closed-form solvers » (« Meta-apprentissage avec Solveurs de Forme Fermée Différentiables »), par Luca Bertinetto et al. Celui-ci proposait des méthodes permettant d’entrainer des réseaux d’apprentissage profond basés sur un faible nombre d’exemples d’entrainement. Les étudiants ont su reproduire les résultats clé, et ont même développé diverses recommandations pour les auteurs originaux, qui ont mis à jour leur papier sur la base des commentaires des deux doctorants.
Le projet d’Arnout Devos et Sylvain Chatel, qu’ils ont pu raffiner et soumettre sous la supervision du Professeur Matthias Grossglauser (Laboratoire de la dynamique de l’information et des réseaux, INDY), a été le seul projet RC à être sélectionné pour l’atelier au sujet de la reproductibilité en machine learning de l’ICLR 2019 à la Nouvelle-Orléans. Arnout Devos a présenté les résultats lors de la conférence le 6 mai, et a même eu l’occasion de rencontrer Luca Bertinetto – l’auteur principal de l’étude originale.
Il déclare à ce propos : « Rencontrer l’auteur original et discuter avec lui des découvertes en termes de reproductibilité était la cerise sur le gâteau ! »