Digital for Exascale

Le troisième atelier de co-conception/co-développement du projet Exa-DI (Développement et Intégration) du PEPR NumPEx était dédié à « l’Intelligence Artificielle pour HPC@Exscale » en ciblant les deux sujets « Image analysis @ exascale » et « Data analysis and robust inference @ exascale ». Il s’est déroulé les 2 et 3 octobre 2024 à l’Espace La Bruyère, Du Côté de la Trinité (DCT) à Paris.

Cet atelier en présentiel a réuni, pendant deux jours, des membres d’Exa-DI ainsi que des membres des autres projets NumPEx (Exa-MA : Méthodes et algorithmes pour l’exascale, Exa-SofT : Logiciels et outils HPC, Exa-DoST : Logiciels et outils orientés données pour l’exascale et Exa-AToW : Architectures et outils pour les flux de travail à grande échelle), des démonstrateurs d’applications (AD) issus de divers secteurs de la recherche et de l’industrie, ainsi que des experts, afin de discuter des avancées et des orientations futures concernant l’intégration de l’intelligence artificielle dans les flux de travail HPC/HPDA à l’exascale, en se concentrant sur les deux thèmes suivants : « Analyse d’images volumineuses » et « Analyse de données et inférence robuste ».

Cet atelier est le troisième d’une série consacrée à la conception et au développement conjoints, dont l’objectif principal est de promouvoir des stratégies de développement conjoint de piles logicielles afin d’accélérer le développement à l’exascale et d’améliorer la portabilité des performances des applications en sciences et ingénierie computationnelles. Cet atelier se distingue quelque peu des deux précédents en ce qu’il revêt un caractère prospectif, axé sur l’importance croissante des flux de travail HPC/HPDA pilotés par l’IA et couplés à l’IA, qui évoluent rapidement, dans les domaines de « l’analyse d’images volumineuses à l’exascale » et de « l’analyse de données (simulation, expériences, observation) et l’inférence robuste à l’exascale ». Ses principaux objectifs sont, d’une part, de parvenir à une compréhension commune des différents modes de couplage de l’IA dans les flux de travail HPC/HPDA et, d’autre part, d’identifier conjointement les motifs d’exécution les plus couramment rencontrés dans les applications scientifiques afin de favoriser le co-développement de benchmarks collaboratifs spécifiques ou d’applications de substitution permettant d’évaluer/mesurer les performances de bout en bout des flux de travail HPC/HPDA couplés à l’IA et, enfin, d’identifier conjointement les composants logiciels (bibliothèques, frameworks, communication de données, outils de flux de travail, couches d’abstraction, environnements de programmation et d’exécution) à développer et à intégrer conjointement afin d’améliorer les composants critiques et d’accélérer leur exécution.

• Introduction et contexte: présenter les deux thèmes principaux de l’atelier et vous présenter l’action transversale GT IA au sein de NumPEx.
• Présentation des participantes et participants: Permettre aux participantes et participants de se présenter et de faire part de leurs intérêts.
• Différentes sessions: Ces sessions ont donné lieu à des exposés sur les défis à relever et les goulots d’étranglement à surmonter (vitesse d’exécution, évolutivité, volume de données…), sur le type, le format et le volume des données actuellement étudiées, sur les frameworks ou les langages de programmation ​actuellement utilisés (par exemple Python, PyTorch, JAX, C++, etc.) ainsi que sur les opérations élémentaires typiques effectuées sur les données.
• Débats et tables rondes: Ces sessions ont permis aux participants de prendre part à des débats et d’échanger leurs points de vue sur les thèmes abordés, afin de définir une stratégie permettant de relever les défis liés aux processus de co-conception et de co-développement.

• Jean-Pierre Vilotte du CNRS, membre d’Exa-DI, qui a présenté le contexte introductif de l’atelier.
• Thomas Moreau de l’Inria, membre d’Exa-DoST, présentant la GT IA, une action transversale dans NumPEx.
• Tobias Liaudat du CEA, sur la quantification rapide et évolutive de l’incertitude pour l’imagerie scientifique.
• Damien Gradatour du CNRS, qui aborde la question de la construction de nouveaux cerveaux pour les télescopes astronomiques géants grâce aux réseaux neuronaux profonds (Deep Neural Networks).
• Antoine Petiteau du CEA, discutant de l’analyse des données pour l’observation de l’Univers avec les ondes gravitationnelles à basse fréquence.
• Kevin Sanchis de Safran AI, sur l’évaluation des méthodes d’apprentissage auto-supervisé dans le domaine de la télédétection.
• Hugo Frezat de l’Université Paris Cité, présentant des modèles d’apprentissage à l’échelle de la maille pour la convection turbulente en rotation.
• Benoit Semelin de la Sorbonne Université, discutant de l’inférence basée sur la simulation avec des simulations d’hydrodynamique radiative cosmologique pour le SKA.
• Bruno Raffin & Thomas Moreau de l’Inria, présentant l’analyse basée sur l’apprentissage automatique de grands résultats de simulation dans Exa-DoST.
• Julián Tachella du CNRS, présentant DeepInverse : une bibliothèque PyTorch pour résoudre des problèmes inverses avec l’apprentissage profond.
• Erwan Allys de l’ENS-PSL, explorant le modèle génératif et la séparation des composants dans un régime de données limitées avec la Transformée de diffusion.
• François Lanusse du CNRS, discutant du pré-entraînement multimodal pour les données scientifiques : Vers des modèles de grandes données pour l’astrophysique. > en ligne
• Christophe Kervazo de Telecom Paris, abordant les méthodes d’apprentissage profond interprétables et évolutives pour les problèmes inverses d’imagerie.
• Eric Anterrieu du CNRS, explorant l’approche basée sur l’apprentissage profond en radiométrie d’imagerie par synthèse d’ouverture et son implémentation.
• Philippe Ciuciu du CEA, sur l’IRM computationnelle à l’ère de l’apprentissage profond.
• Pascal Tremblin du CEA, caractérisant les modèles dans les simulations HPC à l’aide de la reconnaissance d’images et de la catégorisation pilotées par l’IA.
• Bruno Raffin de l’Inria, membre d’Exa-DI, présentant le Software Packaging dans Exa-DI

De nombreuses discussions intéressantes et fructueuses ont eu lieu au cours de cet atelier prospectif. Ces discussions nous ont tout d’abord permis de mieux cerner les défis et les goulots d’étranglement qui sous-tendent les flux de travail HPC/HPDA basés sur l’IA les plus couramment rencontrés dans les départements de recherche. Ensuite, une première série de problèmes connexes à traiter a été identifiée ; ces problèmes peuvent être regroupés en deux axes principaux : (i) le traitement d’images en grands volumes, issues soit de simulations, soit d’expériences, et (ii) l’exploration d’espaces de paramètres à haute dimension et multimodaux.

L’une des questions très intéressantes qui est ressortie de ces discussions concerne la pile logicielle NumPEx et, en particulier, la manière dont celle-ci pourrait être étendue au-delà de la prise en charge des bibliothèques classiques d’IA/ML (par exemple, TensorFlow, PyTorch) pour permettre l’exécution couplée, simultanée et en temps réel de workflows d’IA et de HPC/HPDA, de manière à ce que les systèmes d’IA puissent orienter ou alimenter les tâches HPC/HPDA, et inversement ?

Un premier défi réside dans la coexistence et la communication entre les tâches HPC/HPDA et celles liées à l’IA au sein d’un même flux de travail. Cette communication est principalement entravée par la différence entre les modèles de programmation utilisés en HPC (à savoir C++, C ; et Fortran) et celles de l’IA (à savoir Python), ce qui nécessite une gestion plus unifiée du plan de données, permettant d’exposer des abstractions de données de haut niveau et de masquer, tant aux simulations HPC qu’aux modèles d’IA, les complexités liées à la conversion de format, au stockage et au transport des données. Un deuxième défi concerne l’utilisation des informations fournies par les modèles d’IA et les simulations pour identifier les motifs d’exécution couramment observés dans les AD, afin de guider, d’orienter ou de modifier la structure du flux de travail en déclenchant ou en arrêtant de nouvelles tâches HPC/HPDA. Cela implique que les systèmes de gestion des flux de travail doivent être capables d’intégrer et de réagir de manière dynamique aux entrées provenant des modèles d’IA. Cela devrait favoriser le co-développement de nouvelles bibliothèques, de nouveaux frameworks ou de nouveaux outils de flux de travail prenant en charge l’intégration de l’IA dans les flux de travail HPC/HPDA.

Par ailleurs, ces discussions ont mis en évidence qu’une action importante à mener prochainement consisterait à mettre en place une collaboration interfonctionnelle entre le développement des composants logiciels et des flux de travail, d’une part, et leur intégration aux technologies NumPEx dans leur ensemble, d’autre part, ainsi qu’à rationaliser les flux de travail des développeurs et des utilisateurs.

Il a donc été décidé, au cours de cet atelier, de mettre en place un groupe de travail chargé d’aborder ces différentes questions et permettant, à terme, de développer une suite d’applications proxy et de tests de performance communs et clairement définis, avec des données et des indicateurs de comparaison bien identifiés répondant à ces différents enjeux. Plusieurs équipes composées d’administrateurs de domaine et d’experts ont manifesté leur intérêt pour participer à ce groupe de travail qui sera constitué. Une première réunion rassemblant tous les participants intéressés sera organisée prochainement.

• Jean-Pierre Vilotte, chercheur CNRS et membre d’Exa-DI
• Valérie Brenner, chercheuse CEA et membre d’Exa-DI
• Jérôme Bobin, chercheur CEA et membre d’Exa-DI
• Jérôme Charousset, CEA et membre d’Exa-DI
• Mark Asch, enseignant-chercheur à l’Université Picardie et membre d’Exa-DI
• Bruno Raffin, Inria et membre d’Exa-DI et Exa-DoST
• Rémi Baron, CEA et membre d’Exa-DI
• Karim Hasnaoui, chercheur CNRS et membre d’Exa-DI
• Felix Kpadonou, CEA et membre d’Exa-DI
• Thomas Moreau, Inria et membre d’Exa-DoST
• Erwan Allys, ENS-PSL et démonstrateur d’application
• Damien Gradatour, CNRS et démonstrateur d’application
• Antoine Petiteau, CEA et démonstrateur d’application
• Hugo Frezat, Université Paris Cité et démonstrateur d’application
• Alexandre Fournier, Institut de physique du globe et démonstrateur d’application
• Tobias Liaudat, CEA
• Jonathan Kem, CEA
• Kevin Sanchis, Safran AI
• Benoit Semelin, Sorbonne Université
• Julian Tachella, CNRS
• François Lanusse, CNRS
• Christophe Kervazo, Telecom Paris
• Eric Anterrieu, CNRS
• Philippe Ciuiciu, CEA
• Pascal Tremblin, CEA