Prix EPFL de Doctorat - 2023 - Arthur Jacot
©
Theory of Deep Learning: Neural Tangent Kernel and Beyond
Thèse EPFL n°9825
Directeur de thèse : Prof. C. Hongler
Pour ses contributions révolutionnaires à la théorie de l'apprentissage profond, en particulier l'invention du Neural Tangent Kernel, qui ont transformé notre compréhension des réseaux de neurones artificiels.
Les Réseaux de Neurones Profonds (RNPs) sont au centre de la révolution IA, mais nous n'avons toujours pas identifié ce qui leur permet de réussir à certaines tâches, alors que d'autres modèles échouent. La thèse d'Arthur Jacot a fait un pas important pour le développement d'une théorie des RNPs en introduisant le Noyau Tangent Neuronal (NTN). Le NTN approxime le modèle non-linéaire des RNPs par un modèle linéaire. Quand le nombre de neurones artificiels tend vers l'infini, cette approximation devient exacte, résultant en une dynamique d'entraînement d'une simplicité surprenante, et permettant l'une des premières description précise de la convergence et la généralisation des RNPs en terme du spectre du NTN. En analysant comment les choix d'architecture affectent le NTN, il est possible de penser et d'utiliser les RNPs en suivant des principes théoriques.
