Des réseaux neuronaux optiques efficaces pour une IA moins énergivore

La taille et la portée des systèmes numériques d’intelligence artificielle augmentent, tout comme l’énergie nécessaire pour les entraîner et les déployer, sans compter les émissions de carbone qui en résultent. Selon une récente recherche, si la production des serveurs d’IA se poursuit au rythme actuel, leur consommation annuelle d’énergie pourrait dépasser celle d’un petit pays d’ici à 2027. Inspirés de l’architecture du cerveau humain, les réseaux neuronaux profonds sont particulièrement énergivores en raison des millions, voire des milliards, de connexions entre les multiples couches de processeurs de type neuronal.

Afin de diminuer cette demande d’énergie en hausse, les scientifiques redoublent d’efforts pour mettre en œuvre des systèmes hybrides comprenant des calcul optiques, qui existent au stade expérimental depuis les années 1980. Ces systèmes reposent sur les photons pour traiter les données. Bien que la lumière puisse théoriquement servir à effectuer des calculs de manière beaucoup plus rapide et efficace que les électrons, un problème majeur a empêché les systèmes optiques d’être compétitifs.

Notre méthode peut être implémentée à grande échelle et jusqu’à 1 000 fois plus économe en énergie que les réseaux numériques profonds de pointe, ce qui en fait une plateforme prometteuse pour la réalisation de réseaux neuronaux optiques

«Pour classer les données dans un réseau neuronal, chaque nœud, ou “neurone”, doit prendre la “décision” de se déclencher ou non en fonction des données d’entrée pondérées. Cette décision entraîne une transformation non linéaire des données, ce qui signifie que la sortie n’est pas directement proportionnelle à l’entrée, déclare Christophe Moser, responsable du Laboratoire de dispositifs photoniques appliqués de la Faculté des sciences et techniques de l’ingénieur de l’EPFL.

Christophe Moser explique que si les réseaux neuronaux numériques peuvent facilement effectuer des transformations non linéaires à l’aide de transistors, cette étape nécessite des lasers très puissants dans les systèmes optiques pour les réaliser. Christophe Moser a travaillé avec les étudiants Mustafa Yildirim, Niyazi Ulas Dinc et Ilker Oguz, ainsi que Demetri Psaltis, responsable du Laboratoire d’optique, pour développer une méthode économe en énergie visant à effectuer ces calculs non linéaires par voie optique. Leur nouvelle approche consiste à coder les données, par exemple les pixels d’une image, dans la modulation spatiale d’un faisceau laser de faible puissance qui se réfléchit sur lui-même plusieurs fois, ce qui conduit à une multiplication des pixels de l’image qui est une opération non linéaire.

«Nos expériences de classification d’images sur trois ensembles de données différents ont montré que notre méthode peut être implémentée à grande échelle et jusqu’à 1 000 fois plus économe en énergie que les réseaux numériques profonds de pointe, ce qui en fait une plateforme prometteuse pour la réalisation de réseaux neuronaux optiques», indique Demetri Psaltis.

Soutenue par une subvention Sinergia du Fonds national suisse de la recherche scientifique, cette recherche a récemment été publiée dans un article de la revue Nature Photonics.

Une solution structurelle simple

Par essence, les photons n’interagissent pas directement entre eux comme le font les électrons chargés. Pour obtenir des transformations non linéaires dans les systèmes optiques, les scientifiques ont donc dû “forcer” les photons à interagir indirectement, par exemple en utilisant une lumière suffisamment intense pour modifier les propriétés optiques du verre ou d’un autre matériau qu’elle traverse.

Les scientifiques ont contourné la nécessité d’un laser de forte puissance par une solution simple : ils ont encodé spatialement les pixels d’une image dans la surface d’un faisceau laser de faible puissance. En réalisant cet encodage deux fois, en ajustant la trajectoire du faisceau dans l’encodeur, les pixels sont multipliés par eux-mêmes donc au carré. La mise au carré étant une transformation non linéaire, cette modification structurelle a permis d’obtenir la non-linéarité qui est essentielle aux calculs des réseaux neuronaux, pour une fraction du coût énergétique. Cet encodage peut être réalisé deux, trois, dix fois, ce qui augmente cette transformation non linéaire et la précision du calcul.

«Nous pensons qu’avec notre système, l’énergie nécessaire pour calculer optiquement une multiplication est inférieure de huit ordres de grandeur à celle requise pour un système électronique», précise Demetri Psaltis.

Christophe Moser et Demetri Psaltis soulignent que leur approche à faible consommation d’énergie peut être implémentée à grande échelle ce qui représente un atout majeur, car l’objectif final serait d’utiliser des systèmes hybrides électroniques et optiques pour réduire la consommation d’énergie des réseaux neuronaux numériques. Cependant, d’autres recherches en ingénierie sont nécessaires pour permettre cette évolutivité. Par exemple, étant donné que les systèmes optiques utilisent un matériel différent de celui des systèmes électroniques, une prochaine étape sur laquelle les scientifiques travaillent déjà consiste à développer un compilateur pour convertir les données numériques en un code utilisable par les systèmes optiques.