Stefan Vlaski reçoit le prix meilleure thèse de doctorat d'EURASIP

Stefan Vlaski a commencé ses études de doctorat à l'UCLA en 2014 sous la supervision du professeur Ali H. Sayed. Il a déménagé avec le doyen Sayed à l'EPFL en 2017 en tant que doctorant invité où il a terminé le travail sur sa thèse de doctorat de l'UCLA en 2019 avec le titre "Optimisation stochastique distribuée dans des environnements non différentiables et non convexes." Après l'obtention de son diplôme, Stefan a servi pendant deux ans en tant que chercheur postdoctoral à l'EPFL dans le laboratoire des systèmes adaptatifs (ASL) du professeur Sayed en 2019-2021. En 2021, il a rejoint l'Imperial College de Londres en tant que membre du corps enseignant.

Selon le professeur Sayed, "Stefan est un chercheur hors pair qui possède une connaissance approfondie et étendue du domaine. Il a apporté de profondes contributions à la science des systèmes multi-agents et des réseaux adaptatifs".

L'un des principaux domaines de recherche de M. Vlaski est l'étude de la manière dont les réseaux adaptatifs apprennent dans des environnements non convexes. Ces scénarios sont courants dans la pratique, et ils apparaissent par exemple dans la formation de modèles neuronaux larges et profonds. Ces réseaux neuronaux ont des surfaces de performance non convexes et pourtant, on a observé qu'ils fournissaient des performances impressionnantes dans un large éventail d'applications. À leur manière, ils peuvent réussir à trouver des minima locaux qui permettent d'obtenir de bonnes mesures de performance. Les approches antérieures de l'optimisation et de l'apprentissage dans des environnements non convexes se sont concentrées sur l'infusion de bruit artificiel dans les récursions de mise à jour des algorithmes d'optimisation afin de les inciter à s'éloigner des selles indésirables. Cependant, les modèles neuronaux peuvent parfois y parvenir sans ces artefacts.

Stefan a eu une idée puissante. Les algorithmes d'optimisation stochastiques sont connus pour générer un bruit de gradient par défaut, en raison de la nature aléatoire de leurs relations de mise à jour. Et ce bruit s'infiltre dans la dynamique des algorithmes d'apprentissage. La présence d'un tel bruit de gradient peut-elle à elle seule suffire à garantir la sortie des points de selle sans artefacts supplémentaires ? Dans un article en deux parties publié dans la revue IEEE Transactions on Signal Processing en 2021, Stefan a pu découvrir, grâce à une analyse théorique approfondie, deux résultats originaux qui ont poussé notre compréhension des environnements non convexes vers de nouvelles limites. Premièrement, il a établi les conditions dans lesquelles le bruit du gradient est suffisant pour garantir la sortie des points de selle et, deuxièmement, il a montré que la sortie des points de selle se produit en temps polynomial. Ces résultats constituent le cœur de sa thèse de doctorat. Selon son directeur de thèse, M. Sayed, "je considère que ces résultats sont si révélateurs que j'ai consacré un chapitre entier de mon récent manuel sur l'inférence et l'apprentissage à partir de données (Cambridge, 2022) aux résultats de Stefan".

Stefan a également contribué à de nombreux autres sujets de recherche importants, notamment des algorithmes efficaces pour l'apprentissage fédéré, des algorithmes décentralisés pour l'apprentissage multitâche et des algorithmes pour l'apprentissage sur les graphes sociaux. Il a publié de nombreux articles dans ces domaines, notamment dans plusieurs revues de l'IEEE, dont IEEE Trans. Signal Processing, IEEE Trans. Information Theory, IEEE Trans. Automatic Control, et d'autres.