La réunion annuelle 2024 d'Exa-DoST
The second annual meeting of the NumPEx Exa-DoST project took place at Inria, in Rennes, on 18-19 September 2024. This two days were an opportunity to share the first outcomes of the projet and discuss the upcoming research.
The Exa-DoST project is one of the five targeted projects of the NumPEx program, focusing on the challenges posed by data storage, processing, and analytics in the context of the emergence of Exascale Computing in Europe. The goal is to leverage innovative storage technologies and support complex hybrid workflows involving simulation, analytics, and learning, running at extreme scales across supercomputers interconnected to Clouds and Edge-based systems.
The second annual meeting of the Exa-DoST project took place at Inria, in Rennes, on 18-19 September 2024. It gathered participants in the project (scientists, engineers, students) with the goal of providing a common, shared vision on the project’s objectives, activities, and strategy. It also included specific workshops focused on identifying challenging application requirements in terms of data storage and analytics. For the first time, members of the ExaDoST Scientific Advisory Committee and of the Industrial and Technology Advisory Committee attended a global Exa-DoST meeting.
Mercredi 18 septembre 2024
La première journée a été consacrée à des présentations donnant un aperçu des objectifs et des activités du projet dans les différents domaines spécifiques couverts par les work packages techniques. Ces présentations ont été suivies d’une discussion sur la manière dont les activités réalisées dans le cadre de ces work packages (WP) pouvaient interagir entre elles.
-
- Introduction à NumPEx et Exa-DoST
par Gabriel Antoniu, chercheur Inria et co-leader Exa-DoST
et Julien Bigot, chercheur CEA et co-leader Exa-DoST - Objectifs et état d’avancement des work packages :
- WP1 – Stockage et E/S
par Francieli Boito, chercheur à l’Inria et responsable du WP Exa-DoST
et François Tessier, chercheur à l’Inria et responsable du WP Exa-DoST - WP2 – Traitement in situ
Par Yushan Wang, chercheur au CEA et responsable du WP Exa-DoST
et Laurent Colombet, chercheur au CEA et responsable du WP Exa-DoST - WP3 – ML-based analytics
par Thomas Moreau, chercheur à l’Inria et responsable du WP Exa-DoST
et Bruno Raffin, chercheur à l’Inria et responsable du WP Exa-DoST - WP4 – Application illustrator :
par Virginie Grandgirard, chercheur au CEA et responsable du WP Exa-DoST
et Damien Gratadour, professeur à l’Université Paris Cité et responsable du WP Exa-DoST.
- WP1 – Stockage et E/S
- Introduction à NumPEx et Exa-DoST
- Session sur l’interaction inter-WP
animée par Gabriel Antoniu et Julien Bigot
Jeudi 19 septembre 2024
-
- Introduction to the parallel brainstorming sessions
by Julien Bigot - Session on Codex
by Laurent Colombet - Session on Gysela
by Virginie Grandgirard - Session on SKA
by Laurent Colombet
- Introduction to the parallel brainstorming sessions
The participants found the exchanges particularly fruitful and decided to continue this work through a series of online and physical meetings.
Participantes et participants
- Gabriel Antoniu, Inria and Exa-DoST leader
- Rosa Badia, BSC and board member of Exa-DoST
- Thomas Badts, Inria
- Andres Bermeo Marinelli, Inria and member of Exa-DoST
- Julien Bigot, CEA and Exa-DoST leader
- Francieli Boito, Inria and Exa-DoST WP leader
- Silvina Caino-Lores, Inria and member of Exa-DoST
- Damien Chapon, CEA and member of Exa-DoST
- Laurent Colombet, CEA and Exa-DoST WP leader
- Almuhisen Feda, CEA and member of Exa-DoST
- Chiara Ferrari, Observatoire de la Côte d’Azur and Board member of Exa-DoST
- Virginie Grandgirard, CEA and Exa-DoST WP leader
- Damien Gratadour, Université Paris Cité and Exa-DoST WP leader
- Gabriel Hautreux, CINES and board member of Exa-DoST
- Nicolas Lardjane, CEA and board member of Exa-DoST
- Pierre-François Lavallée, CNRS and board member of Exa-DoST
- Jakob Luettgau, Inria and member of Exa-DoST
- Benoit Martin, CEA and member of Exa-DoST
- François Mazen, Kitware and board member of Exa-DoST
- Yann Meurdesoif, CEA and board member of Exa-DoST
- Dorian Midou, CEA and member of Exa-DoST
- Shan Mignot, CNRS and member of Exa-DoST
- Julien Monniot, Inria and member of Exa-DoST
- Thomas Moreau, Inria and Exa-DoST WP leader
- Sai Narasimhamurthy, ParTec and board member of Exa-DoST
- Etienne Ndamlabin, Inria and member of Exa-DoST
- Jean-Francois Nezan, INSA
- Thomas Noël, ANR and Exa-DoST point of contact
- Kevin Obrejan, CEA and member of Exa-DoST
- Guillaume Pallez, Inria and member of Exa-DoST
- Lucas Pernollet, CEA and project manager of NumPEx
- Cédric Prigent, Inria and member of Exa-DoST
- Abhishek Purandare, Inria and member of Exa-DoST
- Bruno Raffin, Inria and Exa-DoST WP leader
- Stéphane Requena, Genci and board member of Exa-DoST
- Kento Sato, Riken and board member of Exa-DoST
- Frederic Suter, CNRS and board member of Exa-DoST
- François Tessier, Inria and Exa-DoST WP leader
- Sunrise Wang, Observatoire de la Côte d’Azur
- Yushan Wang, CEA and Exa-DoST WP leader
© Lucas Pernollet
Libérer la puissance de l'Exascale Computing : Rapport d'activité 2022 de Genci
Nous avons le plaisir de vous présenter le très attendu rapport d’activité de Genci pour l’année 2022.
En tant qu’organisation de premier plan chargée de fournir de puissantes ressources de calcul et de traitement des données, Genci a joué un rôle déterminant dans la recherche scientifique et l’innovation, tant au niveau national qu’européen.
Avec pour mission de promouvoir l’utilisation de supercalculateurs couplés à l’intelligence artificielle, Genci a fait des progrès significatifs au profit des communautés de recherche scientifique, des universités et des secteurs industriels. Rejoignez-nous pour explorer les réalisations remarquables présentées dans ce rapport de 68 pages.
Lancement de programmes et d’initiatives novateurs :
L’engagement de Genci à repousser les limites des capacités de calcul se manifeste par le lancement de plusieurs programmes et initiatives révolutionnaires. Le rapport met en lumière des projets clés, tels que
- NumPEx: L’initiative NumPEx vise à exploiter la puissance des supercalculateurs et de l’IA pour stimuler le progrès scientifique. En fournissant aux chercheurs des ressources informatiques de pointe, Genci leur permet de relever des défis complexes dans divers domaines scientifiques.
- Consortium Jules Verne pour l’exascale : Le partenariat de Genci avec le Consortium Jules Verne démontre son engagement à faire progresser le calcul exascale. Cette collaboration favorise l’innovation et stimule la recherche dans des domaines autrefois inimaginables.
- Projet CLUSSTER: Le projet CLUSSTER se concentre sur l’intégration de solutions d’informatique dématérialisée dans l’infrastructure de Genci. En adoptant le cloud, Genci améliore la flexibilité et l’évolutivité, ce qui permet aux chercheurs de s’attaquer facilement aux charges de travail à forte intensité de données.
- Nouveau superordinateur « Adastra »: L’introduction par Genci du superordinateur de pointe « Adastra » marque une étape importante. Grâce à sa puissance de calcul remarquable, Adastra permet aux chercheurs de réaliser des simulations complexes, d’accélérer l’analyse des données et de réaliser des percées scientifiques.
Les progrès de l’informatique quantique :
Genci reconnaît l’immense potentiel de l’informatique quantique et a réalisé des progrès significatifs dans ce domaine. Le rapport met en lumière des réalisations notables, notamment
- Plate-forme nationale de calcul quantique hybride: Genci a joué un rôle essentiel dans le lancement de cette plateforme. Cette initiative favorise la collaboration et permet aux chercheurs d’explorer les capacités de l’informatique quantique pour résoudre des problèmes concrets.
- Intégration de systèmes quantiques: Genci a acquis ses premiers systèmes quantiques, marquant ainsi une étape importante pour permettre aux chercheurs d’exploiter la puissance de l’informatique quantique. Ces systèmes ouvrent la voie à la recherche et à l’innovation révolutionnaires dans les applications quantiques.
- Le Paquet Quantique : Le Paquet Quantique de Genci (PAck Quantique) fournit aux chercheurs les outils et les ressources nécessaires pour explorer les systèmes informatiques quantiques hybrides. Cette initiative encourage le développement d’algorithmes et d’applications novateurs qui font le lien entre l’informatique classique et l’informatique quantique.
Progrès en matière d’intelligence artificielle :
Genci a adopté le potentiel de transformation de l’intelligence artificielle, comme le souligne le rapport :
Modèle Bloom: Le modèle Bloom de Genci illustre les efforts déployés par l’entreprise pour développer des algorithmes et des cadres d’intelligence artificielle de pointe. En associant les supercalculateurs à l’IA, Genci facilite la recherche de pointe dans les domaines de l’apprentissage automatique, de l’apprentissage profond et de l’analyse des données.
Contribuer à la recherche scientifique et à l’industrie :
Genci se consacre au soutien des communautés de recherche scientifique, des universités et des secteurs industriels par le biais de différentes initiatives, comme en témoignent les efforts déployés dans ce domaine :
- Réutilisation de la chaleur résiduelle: L’approche innovante de Genci comprend la valorisation de la chaleur résiduelle générée par le supercalculateur Jean Zay. Cette initiative respectueuse de l’environnement témoigne de l’engagement de Genci en faveur de la durabilité et de l’utilisation efficace des ressources.
- Grands défis: Genci soutient activement les chercheurs qui s’attaquent aux grands défis, en leur fournissant les ressources informatiques nécessaires pour résoudre des problèmes complexes dans diverses disciplines scientifiques.
- Simulations exemplaires: Le rapport présente des exemples convaincants de simulations réalisées avec les ressources de Genci, mettant en évidence les découvertes et les avancées significatives rendues possibles grâce à leur soutien.
- Communauté de grands groupes industriels: La collaboration de Genci avec de grands groupes industriels souligne son engagement à combler le fossé entre le monde universitaire et l’industrie. En favorisant les partenariats, Genci facilite le transfert de la recherche de pointe et des avancées technologiques vers des applications concrètes.
L’écosystème régional et européen de Genci :
Le rapport souligne la participation active de Genci à des initiatives régionales et européennes :
- Initiatives régionales: Genci contribue activement au développement régional par le biais d’initiatives telles que SiMSEO, le Centre de compétences et MesoNet. Ces programmes encouragent la coopération entre les institutions de recherche et les industries, ce qui favorise l’innovation et contribue à la croissance économique.
- Collaborations européennes: La participation de Genci à des collaborations européennes, telles que PRACE, EuroHPC, EUPEX et EPI SGA, souligne son engagement à établir un écosystème européen solide pour le calcul à haute performance. Ces collaborations facilitent l’échange de connaissances et le partage des ressources, et favorisent le dynamisme de la communauté européenne de la recherche.
Le rapport d’activité 2022 de Genci démontre son engagement à renforcer la recherche scientifique et à stimuler l’innovation en intégrant le calcul exascale, l’intelligence artificielle et l’informatique quantique.
En lançant des programmes novateurs, en introduisant des technologies de pointe et en collaborant avec les communautés de recherche et l’industrie, Genci a contribué de manière significative à l’avancement des frontières scientifiques.
Leur engagement en faveur de pratiques durables et de partenariats régionaux et européens renforce leur position en tant que fournisseur de premier plan de ressources informatiques.
En se tournant vers l’avenir, Genci continue d’ouvrir la voie à des découvertes transformatrices et à des percées dans le domaine de la recherche scientifique et de l’innovation technologique.
NumPEx se lance dans l'action avec un programme ambitieux à Perros-Guirrec
Au cours d'une série de sessions dynamiques organisées du26 au28 juin dans la charmante ville de Perros-Guirrec, NumPEx s'est lancé dans un événement de lancement intensif, préparant le terrain pour un voyage transformateur dans le domaine du calcul Exascale. Dirigeants, experts et collaborateurs se sont réunis pour se pencher sur un programme riche en enseignements.tions, des ateliers et des initiatives de collaborainitiatives de collaborations.
Le coup d'envoi a commencé par une introduction détaillée, soulignant les objectifs et l'importance du programme NumPEx, qui vise à établir une vision commune et à encourager la collaboration pour mettre en œuvre une pile logicielle cohérente et les processus connexes d'ici 2025, au bénéfice non seulement de la France mais aussi de l'Europe, en préparation de la machine Exascale. Des personnalités telles que Jérôme Bobin, Michel Dayde et Jean-Yves Berthou ont expliqué les objectifs et la structure organisationnelle du programme. Les membres du conseil d'administration ont partagé leurs points de vue sur la vision et les feuilles de route Exascale :
Vision et feuille de route Exascale de GENCI :
- Présentation du rôle et des missions de GENCI, y compris l'hébergement du projet Exascale pour EuroHPC.
- Partenariat avec EuroHPC et d'autres acteurs dans le cadre de l'initiative européenne en matière de calcul intensif, en s'appuyant sur PRACE et GEANT.
- Présentation du consortium Jules Verne, mettant en avant les partenariats internationaux et industriels.
- Vision de la machine européenne Exascale : relever les défis sociétaux, encourager l'innovation et mettre l'accent sur la convergence HPC/IA centrée sur les données.
- Plans de collaboration avec NumPEx, y compris l'élaboration d'un programme fonctionnel, le développement de références et la promotion du produit.
Vision et feuille de route Eviden Exascale :
- L'approche complexe d'Eviden implique des technologies HPC, HPDA, IA et quantiques, avec un accent sur les composantes souveraines et européennes.
- Participation au processeur intégré européen pour les machines Exascale (SiPearl) et collaboration à divers projets technologiques.
- Collaboration avec le CEPP pour le soutien des applications et la participation à des projets technologiques liés à Exascale, à la quantique, à l'informatique en nuage, etc.
Écosystème national et européen :
- Introduction d'EUPEX, un projet de 4 ans avec un budget similaire à NumPEx, visant à déployer un système modulaire Exascale en utilisant l'architecture OpenSequana.
- Collaboration avec NumPEx, possibilité de partager des expériences et des résultats, et exploration d'une diffusion commune.
- Présentation de Data Direct Network (DDN) avec un accent sur l'IA et le système de fichiers parallèles Lustre, soulignant les défis et l'importance de comprendre les applications NumPEx.
L'après-midi s'est poursuivie par une visite des cinq projets (PC) du programme NumPEx :
- Exa-MA, qui vise à concevoir des algorithmes et des méthodes numériques évolutifs pour les prochaines machines exascales. Dirigé par Christophe Prudhomme (Université de Strasbourg) et Hélène Barucq (Inria).
- Exa-Soft, pour développer une pile logicielle cohérente, portable, efficace et résistante pour l'exascale. Dirigé par Raymond Namyst (Inria) et Alfredo Buttari (CNRS - Centre national de la recherche scientifique).
- Exa-DoST, pour relever les défis liés aux données, notamment le stockage, les E/S, le traitement in situ et l'analyse intelligente, dans les superordinateurs exascales. Dirigé par Gabriel Antoniu (Inria) et Julien Bigot (CEA).
- Exa-ATOW, pour traiter les flux de travail à grande échelle impliquant des machines exascales. Dirigé par François Bodin (Université de Rennes), Mark Asch (Université de Picardie Jules Verne (UPJV)), et Thierry Deutsch (CEA).
- Exa-DI, pour assurer la co-conception transversale et la productivité des logiciels pour les supercalculateurs exascales. Dirigé par Jean-Pierre Vilotte (CNRS) et Valérie Brenner (CEA).
La journée s'est terminée en mettant l'accent sur les efforts de collaboration entre NumPEx et d'autres initiatives, notamment en ce qui concerne le développement d'étalons, les liens entre les logiciels et le matériel, et l'objectif global de se préparer aux défis de l'ère Exascale.
La deuxième journée a débuté par un jogging matinal revigorant le long du bord de mer, donnant un ton dynamique à une journée remplie d'ateliers thématiques. Les participants ont participé à des discussions ciblées sur les synergies énergétiques, l'intégration du GPU, les applications, la coconception, le genre, la diversité et l'équité, l'intégration de la production de logiciels, la formation, la résilience, les collaborations internationales et l'intelligence artificielle. Des ateliers thématiques, animés par des experts du domaine, ont favorisé la collaboration au sein de groupes plus restreints, soulignant l'engagement du programme en faveur d'une approche transversale des défis de l'Exascale.
Le dernier jour a commencé par une synthèse des résultats de l'atelier, soulignant la profondeur des discussions dans chaque domaine thématique. Les animateurs des ateliers ont consolidé leurs connaissances, offrant une vue panoramique des défis et des opportunités. Voici un aperçu des principales idées et actions stratégiques discutées lors de ces ateliers :
Atelier sur les accélérateurs de GPU
Lors d'un atelier consacré aux accélérateurs de GPU, les experts ont souligné le rôle essentiel des unités de traitement graphique (GPU) dans la réalisation d'un calcul à grande échelle. Étant donné que 90 à 99 % des performances des grandes machines sont attribuées à l'accélération des GPU, l'atelier a mis en évidence la nécessité pour les applications d'explorer le potentiel de ces puissants processeurs. Parmi les défis abordés figurent les nouveaux paradigmes de programmation, la portabilité du code, la gestion des données et le paysage matériel induit par les jeux et l'intelligence artificielle. L'atelier a présenté un plan complet, comprenant des ateliers futurs, des documents d'analyse, des tutoriels, des hackathons et des exemples de mini-applications portées avec succès.
Atelier sur l'énergie
L'atelier sur l'énergie s'est concentré sur la réalisation d'un calcul Exascale dans une limite de consommation d'énergie de 20 MW. Les experts se sont penchés sur les dimensions environnementales, scientifiques, techniques et sociétales, fournissant une feuille de route pour la communauté HPC. Les principaux défis identifiés sont la modélisation de la consommation des systèmes, les outils de mesure en temps réel, la hiérarchisation des ressources en fonction de l'impact sociétal et l'impact environnemental plus large des activités de recherche. Le plan d'action prévoit l'élaboration d'un modèle de performance et de consommation, de stratégies d'optimisation, d'outils pour les utilisateurs et le développement de liens avec des entités externes afin d'intégrer des considérations énergétiques.
Séminaire sur l'équité entre les sexes et la diversité
Le plan d'action comprend l'établissement d'un code de conduite, l'évaluation de la répartition des sexes, la création d'une plateforme web pour les ressources, des initiatives d'éducation et de formation, des programmes de sensibilisation et de vulgarisation, ainsi qu'un engagement en faveur de l'accessibilité et de la reconnaissance. NumPEx vise à créer un avenir inclusif et collaboratif, en invitant toutes les parties prenantes à contribuer aux initiatives.
Atelier sur l'IA
L'atelier sur l'IA a exploré l'intersection critique du calcul intensif et de l'IA, en abordant les défis et en esquissant un plan stratégique pour une exploration collaborative. Les principales discussions ont porté sur les outils d'aide à la décision pour les applications d'IA dans le domaine du calcul intensif, l'optimisation des temps d'exécution des modèles d'IA et la convergence des utilisations du calcul intensif et de l'IA. Le plan d'action prévoit la création d'un groupe de travail sur l'IA, l'organisation d'ateliers transversaux et l'élaboration d'éléments fondamentaux pour un avenir convergent.
Atelier sur les stratégies de formation
L'atelier sur les stratégies de formation a abordé les complexités de la formation dans le contexte de l'ère exascale qui s'annonce. Les discussions ont porté sur la portée et les sujets des programmes de formation, la création de modèles de formation durables et les considérations économiques dans les initiatives de formation. L'atelier a mis l'accent sur des initiatives de formation collaboratives et inclusives afin de préparer la communauté scientifique aux défis et aux opportunités de l'informatique exascale.
Atelier sur les collaborations internationales
L'atelier sur les collaborations internationales s'est concentré sur l'identification des défis et la définition d'objectifs pour des cadres de collaboration renforcés à l'échelle européenne et mondiale. Les discussions ont porté sur les défis scientifiques et technologiques, la conception et le développement de la pile logicielle exascale et les plans d'action stratégiques. La feuille de route esquissée comprend l'organisation d'ateliers, l'échange d'idées et d'expériences et le renforcement des collaborations avec des entités internationales.
Atelier d'intégration des centres nationaux
L'atelier d'intégration des centres nationaux visait à aligner NumPEx sur les infrastructures HPC, en mettant l'accent sur les éléments opérationnels entre les centres de calcul et les projets ciblés par NumPEx. Les discussions ont porté sur l'évaluation opérationnelle, la cybersécurité, le profilage professionnel et la traçabilité. L'atelier a établi un plan de vidéoconférences régulières, garantissant une communication et une collaboration continues.
Atelier de production de logiciels
L'atelier sur la production de logiciels s'est concentré sur la rationalisation des pratiques de développement de logiciels dans le domaine du calcul intensif. Parmi les défis abordés, citons la réduction des cloisonnements, l'application des bonnes pratiques et l'amplification de l'impact. Les idées et les conclusions ont mis en évidence les diverses pratiques de développement, les modèles de durabilité et le déploiement de l'intégration continue et de la certification. L'engagement de NumPEx à faire progresser les pratiques de production de logiciels vise à favoriser l'innovation, la collaboration et le développement durable dans le domaine du calcul intensif.
Atelier sur la résilience Exascale
L'atelier "Exascale Resilience Workshop" a permis d'aborder les complexités liées au déploiement d'applications exascales. Les discussions ont porté sur les différentes approches des PC NumPEx, les principaux défis et les choix stratégiques. Le plan d'action comprend l'énumération et l'analyse des besoins en matière d'applications, l'analyse des obstacles à l'adoption par les bibliothèques et l'examen minutieux des solutions internationales. NumPEx vise à encourager les solutions collaboratives pour améliorer la résilience des applications à l'échelle mondiale.
Applications et atelier de co-conception
L'atelier sur les applications et la co-conception a encouragé les stratégies de co-développement pour le développement d'applications avancées. Les discussions ont porté sur les défis de la co-conception, les questions clés pour l'exploration collective, l'établissement de liens et les initiatives de durabilité. L'atelier a préparé le terrain pour les prochains ateliers sur les projets de codéveloppement, en mettant l'accent sur la collaboration et l'innovation.