L'IA transforme la recherche des réseaux organométalliques
Des chercheurs de l’EPFL et du Korean Advanced Institute of Science and Technology ont développé un nouveau modèle d’intelligence artificielle qui améliore considérablement la compréhension des réseaux organométalliques, des matériaux prometteurs pour le stockage de l’hydrogène et d’autres applications.
Comment un smartphone prédit-il le prochain mot que vous allez taper dans vos messages ? La technologie derrière cette fonction – et c’est le cœur même de nombreuses applications d’IA – est appelée un transformeur, un algorithme d’apprentissage profond qui détecte les motifs dans les jeux de données.
Des chercheurs de l’EPFL et du KAIST viennent de créer un transformeur pour réseaux organométalliques (MOFs). Les MOFs sont une classe de matériaux cristallins poreux. En combinant des ligands organiques et des nœuds métalliques, les chimistes peuvent synthétiser des millions de matériaux différents, avec des applications potentielles dans le stockage de l’énergie et la séparation des gaz.
Le transformeur MOF est comme une sorte de ChatGPT pour les scientifiques qui étudient les MOFs. L’architecture du transformeur MOF est basée sur une IA appelée Google Brain, capable de traiter du langage naturel, qui forme le cœur de modèles de langage populaires tels que GPT-3 (le prédécesseur de ChatGPT).
L’idée centrale de ces modèles de langage naturel est qu’ils sont préformés sur un grand volume de texte. Quand nous commençons à écrire sur un smartphone par exemple, ce sont des modèles de ce genre qui entrent en action, formés pour « deviner » et ajouter le prochain mot le plus probable.
«Nous voulons explorer cette idée pour les MOFs, mais au lieu de suggérer un mot, nous voulions que le transformeur suggère une propriété», déclare le Professeur Berend Smit, qui dirige l’équipe EPFL du projet. «Nous avons préformé le transformeur MOF avec un million de MOFs hypothétiques pour qu’il en aprenne les caractéristiques essentielles, que nous avons représentées sous la forme d’une phrase. Le modèle a ensuite été formé pour compléter ces phrases afin de donner les caractéristiques correctes du MOF.»
Les chercheurs ont alors paramétré le transformeur MOF pour des tâches liées au stockage de l’hydrogène, comme la capacité de stockage de l’hydrogène, le coefficient de diffusion de l’hydrogène et la bande interdite du MOF (une « bande interdite » est une barrière d’énergie qui contrôle la facilité avec laquelle les électrons peuvent traverser un matériau).
Cette approche a montré que le transformeur MOF était capable d’obtenir des résultats en utilisant beaucoup moins de données par rapport aux méthodes conventionnelles de machine learning, qui requièrent une quantité bien supérieure de données. «Grâce à la préformation, le transformeur MOF connaît déjà les propriétés générales des MOFs et grâce à ce savoir, nous avons besoin de moins de données pour le former pour une autre propriété», ajoute le Prof. Smit. En outre, le même modèle pourrait être utilisé pour toutes les propriétés, alors qu’en machine learning conventionnel, un modèle distinct doit être développé pour chaque application.
Le transformeur MOF marque une révolution dans l’étude des MOFs, car il fournit des résultats plus rapides avec moins de données et permet une compréhension plus vaste du matériau. Les chercheurs espèrent que le transformeur MOF ouvrira la voie au développement de nouveaux MOFs avec de meilleures propriétés pour le stockage de l’hydrogène et d’autres applications.
Fondation nationale pour la recherche de Corée (NRF)
Centre suisse de calcul scientifique
Horizon 2020 (Accelerating CCS Technologies)
Office fédéral de l’énergie (OFEN)
Yeonghun Kang, Hyunsoo Park, Berend Smit, Jihan Kim. MOFTransformer: A multi-modal pre-training transformer for universal transfer learning in metal-organic frameworks. Nature Machine Intelligence 13 March 2023. DOI: 10.1038/s42256-023-00628-2