Le prix de thèse et les distinctions de thèse EEDE 2022

La thèse d'Angelos Katharopoulos, intitulé « Stop Wasting My FLOPS: Improving the Efficiency of Deep Learning Models », a été réalisée sous la direction du professeur associé de L’IDIAP François Fleuret et codirigée par Pascal Frossard, responsable du Laboratoire de traitement des signaux (LTS4) de la Faculté des sciences et techniques de l’ingénieur.

Dans sa thèse, Angelos Katharopoulos propose trois méthodes pour améliorer l'efficacité des réseaux de neurones d'apprentissage profond (deep learning), qui, bien qu'ils aient révolutionné le domaine de l'apprentissage automatique, sont très coûteux en termes de calcul et de mémoire. Ses recommandations en matière d'efficacité se concentrent en particulier sur un algorithme d'échantillonnage par importance pour aider à améliorer l'inefficacité de l'échantillonnage de l'entraînement des réseaux neuronaux ; un modèle pour le traitement de grandes images d'entrée avec des exigences de calcul et de mémoire considérablement réduites ; et des approximations efficaces pour le mécanisme d'attention utilisé dans les transformateurs qui fournissent un meilleur compromis entre la performance et le calcul par rapport aux architectures de transformateur originales.

Le prix annuel de thèse de l'EEDE récompense un travail de thèse de doctorat « exceptionnel et remarquable » dans le domaine du génie électrique, réalisé par un étudiant de l'EEDE. Chaque année, les distinctions pour une thèse remarquable sont également attribuées à une sélection de thèses de très haute qualité, afin de mettre en valeur le travail de recherche des doctorants et leur mérite scientifique. Pour chaque programme de doctorat, les diplômés nominés sont sélectionnés sur la base de leur examen oral. Ensuite, le comité du programme évalue les nominés et récompense les 8% les plus performants. La distinction EDEE 8% pour 2022 est attribuée aux Lorenzo Bertoni, Michaël Defferrard, et Thanh-An Pham.