La réunion annuelle 2024 d'Exa-DoST
The second annual meeting of the NumPEx Exa-DoST project took place at Inria, in Rennes, on 18-19 September 2024. This two days were an opportunity to share the first outcomes of the projet and discuss the upcoming research.
The Exa-DoST project is one of the five targeted projects of the NumPEx program, focusing on the challenges posed by data storage, processing, and analytics in the context of the emergence of Exascale Computing in Europe. The goal is to leverage innovative storage technologies and support complex hybrid workflows involving simulation, analytics, and learning, running at extreme scales across supercomputers interconnected to Clouds and Edge-based systems.
The second annual meeting of the Exa-DoST project took place at Inria, in Rennes, on 18-19 September 2024. It gathered participants in the project (scientists, engineers, students) with the goal of providing a common, shared vision on the project’s objectives, activities, and strategy. It also included specific workshops focused on identifying challenging application requirements in terms of data storage and analytics. For the first time, members of the ExaDoST Scientific Advisory Committee and of the Industrial and Technology Advisory Committee attended a global Exa-DoST meeting.
Mercredi 18 septembre 2024
La première journée a été consacrée à des présentations donnant un aperçu des objectifs et des activités du projet dans les différents domaines spécifiques couverts par les work packages techniques. Ces présentations ont été suivies d’une discussion sur la manière dont les activités réalisées dans le cadre de ces work packages (WP) pouvaient interagir entre elles.
-
- Introduction à NumPEx et Exa-DoST
par Gabriel Antoniu, chercheur Inria et co-leader Exa-DoST
et Julien Bigot, chercheur CEA et co-leader Exa-DoST - Objectifs et état d’avancement des work packages :
- WP1 – Stockage et E/S
par Francieli Boito, chercheur à l’Inria et responsable du WP Exa-DoST
et François Tessier, chercheur à l’Inria et responsable du WP Exa-DoST - WP2 – Traitement in situ
Par Yushan Wang, chercheur au CEA et responsable du WP Exa-DoST
et Laurent Colombet, chercheur au CEA et responsable du WP Exa-DoST - WP3 – ML-based analytics
par Thomas Moreau, chercheur à l’Inria et responsable du WP Exa-DoST
et Bruno Raffin, chercheur à l’Inria et responsable du WP Exa-DoST - WP4 – Application illustrator :
par Virginie Grandgirard, chercheur au CEA et responsable du WP Exa-DoST
et Damien Gratadour, professeur à l’Université Paris Cité et responsable du WP Exa-DoST.
- WP1 – Stockage et E/S
- Introduction à NumPEx et Exa-DoST
- Session sur l’interaction inter-WP
animée par Gabriel Antoniu et Julien Bigot
Jeudi 19 septembre 2024
-
- Introduction to the parallel brainstorming sessions
by Julien Bigot - Session on Codex
by Laurent Colombet - Session on Gysela
by Virginie Grandgirard - Session on SKA
by Laurent Colombet
- Introduction to the parallel brainstorming sessions
The participants found the exchanges particularly fruitful and decided to continue this work through a series of online and physical meetings.
Participantes et participants
- Gabriel Antoniu, Inria and Exa-DoST leader
- Rosa Badia, BSC and board member of Exa-DoST
- Thomas Badts, Inria
- Andres Bermeo Marinelli, Inria and member of Exa-DoST
- Julien Bigot, CEA and Exa-DoST leader
- Francieli Boito, Inria and Exa-DoST WP leader
- Silvina Caino-Lores, Inria and member of Exa-DoST
- Damien Chapon, CEA and member of Exa-DoST
- Laurent Colombet, CEA and Exa-DoST WP leader
- Almuhisen Feda, CEA and member of Exa-DoST
- Chiara Ferrari, Observatoire de la Côte d’Azur and Board member of Exa-DoST
- Virginie Grandgirard, CEA and Exa-DoST WP leader
- Damien Gratadour, Université Paris Cité and Exa-DoST WP leader
- Gabriel Hautreux, CINES and board member of Exa-DoST
- Nicolas Lardjane, CEA and board member of Exa-DoST
- Pierre-François Lavallée, CNRS and board member of Exa-DoST
- Jakob Luettgau, Inria and member of Exa-DoST
- Benoit Martin, CEA and member of Exa-DoST
- François Mazen, Kitware and board member of Exa-DoST
- Yann Meurdesoif, CEA and board member of Exa-DoST
- Dorian Midou, CEA and member of Exa-DoST
- Shan Mignot, CNRS and member of Exa-DoST
- Julien Monniot, Inria and member of Exa-DoST
- Thomas Moreau, Inria and Exa-DoST WP leader
- Sai Narasimhamurthy, ParTec and board member of Exa-DoST
- Etienne Ndamlabin, Inria and member of Exa-DoST
- Jean-Francois Nezan, INSA
- Thomas Noël, ANR and Exa-DoST point of contact
- Kevin Obrejan, CEA and member of Exa-DoST
- Guillaume Pallez, Inria and member of Exa-DoST
- Lucas Pernollet, CEA and project manager of NumPEx
- Cédric Prigent, Inria and member of Exa-DoST
- Abhishek Purandare, Inria and member of Exa-DoST
- Bruno Raffin, Inria and Exa-DoST WP leader
- Stéphane Requena, Genci and board member of Exa-DoST
- Kento Sato, Riken and board member of Exa-DoST
- Frederic Suter, CNRS and board member of Exa-DoST
- François Tessier, Inria and Exa-DoST WP leader
- Sunrise Wang, Observatoire de la Côte d’Azur
- Yushan Wang, CEA and Exa-DoST WP leader
© Lucas Pernollet
2023 Rapport annuel d'Inria : NumPEx, un programme visant à renforcer les capacités de calcul exascale
Publié en juin dernier, le rapport annuel de l’Institut national de recherche en sciences et technologies du numériques (Inria) nous offre un panorama des actions et résultats de recherche de leurs équipes et laboratoires. Désigné en 2024 comme le coordinateur de l’Agence de programmes « Numérique logiciel », Inria est un acteur incontournable de la recherche française en sciences informatiques. Inria œuvre pour inscrire la France dans la dynamique européenne via la recherche et l’innovation de ses équipes-projets et des collaborations avec les autres organismes de recherche.
Parmi les temps forts d’Inria en 2023, nous retrouvons un panel des programmes de recherche France 2030 co-pilotés par Inria, dont fait partie NumPEx !
Retrouvez-nous page 10 du rapport annuel 2023.
2023 – Rapport d’activité Inria (version française)
2023 – Annual Report Inria (version anglaise)
© Guillaume Martel / CEA
NumPEx mis en lumière dans le rapport d'activité 2023 de GENCI
Dans le domaine de la recherche et de l’innovation, GENCI est un acteur clé dans le paysage du calcul intensif en France. Créé en 2007, il a pour mission de mettre à disposition de la communauté scientifique française des ressources de calcul intensif parmi les plus puissantes au monde : notamment les supercalculateurs Jean Zay, Joliot Curie et Adastra. Ces ressources permettent aux scientifiques d’effectuer des simulations numériques complexes et d’analyser des volumes de données massifs, crucial pour des avancées dans divers domaines tels que la climatologie, la physique des particules, la biologie, et bien d’autres.
Récemment, GENCI a publié son rapport d’activité 2023 : et l’un des évènements marquants de l’année a été le lancement de NumPEx !
Retrouvez NumPEx page 20 du rapport d’activité 2023 de GENCI.
2023 – Rapport d’activité GENCI (version française)
2023 – Annual Report GENCI (version anglaise)
© Cyril FRESILLON / IDRIS / CNRS Images
L'édition 2024 du Workshop d'InPEx
Retrouvez toutes les présentations sur le site d'InPEx ici
Le Barcelona Supercomputing Center et NumPEx ont eu le plaisir de réunir la communauté InPEx à Sitges, en Espagne. Du 17 au 19 juin, le workshop a rassemblé une centaine d’experts en calcul haute performance venant d’Europe, du Japon et des États-Unis.
Cet événement était l’occasion parfaite pour discuter de l’état de l’art, des projets et des programmes sur l’Exascale et post-Exascale, de présenter les dernières réalisations des groupes de travail InPEx depuis l’édition précédente du workshop et de travailler ensemble sur les prochaines étapes d’InPEx.
Si vous souhaitez en savoir plus, toutes les présentations sont disponibles sur le site web de l’InPEx.
Crédit photo : Corentin Lefevre/Neovia Innovation/Inria
Le premier atelier du groupe de travail NumPEx Accelerator
On June 12-13th 2024, the Accelerator working group held the workshop « Programmation GPU » to take a first review of the current situation.
Cet atelier a été l’occasion idéale d’avoir une vue d’ensemble des différentes approches actuellement disponibles pour une utilisation efficace des GPU, y compris la programmation directe, les bibliothèques, les cadres et les méthodes basées sur les tâches.
L’atelier a permis aux participants de repartir avec une compréhension claire des avantages et des inconvénients de chaque approche et de bénéficier d’idées et d’expériences avec différents codes dans le cadre de ces approches.
Vous trouverez ci-dessous tous les documents de présentation et les enregistrements vidéo de la journée, qui s’est déroulée en français.
Introduction et contexte
Both presented by Samuel Thibault, professor at Université de Bordeaux
Overview of GPU approaches
- Approche framework: Arcane, API accélérateur
Gilles Grospellier, CEA researcher - Approche bibliothèque: GPU Programming through external scientific libraries
Florent Pruvost, Inria researcher - Approche langage: Kokkos / OpenMP
Julien Bigot, CEA researcher - Approche tâches, StarPU
Samuel Thibault, professor at Université de Bordeaux
Session Retex : retour d'information et expériences
- Retex – Approche tâches pour l’algèbre linéaire GPU + distribué
Antoine Jego, professeur à la Sorbonne Université - Retex – Approche tâches pour l’algèbre linéaire GPU + I/O, out-of-core, composition (Chameleon)
Florent Pruvost, chercheur à l’Inria - Retex – Approche OpenACC : YALES2
Vincent Moureau, chercheur au CNRS - Retex – Approche OpenACC : Portage d’un code Fortran CFD HPC vers (AVBP)
Joeffrey Legaux, ingénieur au CERFACS - Retex – Approche Kokkos : Dyablo, Un nouveau code AMR agnostique pour Exascale utilisant Kokkos
Arnaud Durocher, chercheur et ingénieur au CEA - Retex – Rust et OpenCL pour le portage GPU (minicl)
Philippe Helluy, professeur à l’Université de Strasbourg
Contributions au programme NumPex et appel à propositions
- Contributions prévues au sein du PEPR NumPEx
Samuel Thibault, professeur à l’Université de Bordeaux - Brainstorming sur l’appel à propositions du GPU
Image de titre : © George Kedenburg / Unsplash
NumPEx se lance dans l'action avec un programme ambitieux à Perros-Guirrec
Au cours d'une série de sessions dynamiques organisées du26 au28 juin dans la charmante ville de Perros-Guirrec, NumPEx s'est lancé dans un événement de lancement intensif, préparant le terrain pour un voyage transformateur dans le domaine du calcul Exascale. Dirigeants, experts et collaborateurs se sont réunis pour se pencher sur un programme riche en enseignements.tions, des ateliers et des initiatives de collaborainitiatives de collaborations.
Le coup d'envoi a commencé par une introduction détaillée, soulignant les objectifs et l'importance du programme NumPEx, qui vise à établir une vision commune et à encourager la collaboration pour mettre en œuvre une pile logicielle cohérente et les processus connexes d'ici 2025, au bénéfice non seulement de la France mais aussi de l'Europe, en préparation de la machine Exascale. Des personnalités telles que Jérôme Bobin, Michel Dayde et Jean-Yves Berthou ont expliqué les objectifs et la structure organisationnelle du programme. Les membres du conseil d'administration ont partagé leurs points de vue sur la vision et les feuilles de route Exascale :
Vision et feuille de route Exascale de GENCI :
- Présentation du rôle et des missions de GENCI, y compris l'hébergement du projet Exascale pour EuroHPC.
- Partenariat avec EuroHPC et d'autres acteurs dans le cadre de l'initiative européenne en matière de calcul intensif, en s'appuyant sur PRACE et GEANT.
- Présentation du consortium Jules Verne, mettant en avant les partenariats internationaux et industriels.
- Vision de la machine européenne Exascale : relever les défis sociétaux, encourager l'innovation et mettre l'accent sur la convergence HPC/IA centrée sur les données.
- Plans de collaboration avec NumPEx, y compris l'élaboration d'un programme fonctionnel, le développement de références et la promotion du produit.
Vision et feuille de route Eviden Exascale :
- L'approche complexe d'Eviden implique des technologies HPC, HPDA, IA et quantiques, avec un accent sur les composantes souveraines et européennes.
- Participation au processeur intégré européen pour les machines Exascale (SiPearl) et collaboration à divers projets technologiques.
- Collaboration avec le CEPP pour le soutien des applications et la participation à des projets technologiques liés à Exascale, à la quantique, à l'informatique en nuage, etc.
Écosystème national et européen :
- Introduction d'EUPEX, un projet de 4 ans avec un budget similaire à NumPEx, visant à déployer un système modulaire Exascale en utilisant l'architecture OpenSequana.
- Collaboration avec NumPEx, possibilité de partager des expériences et des résultats, et exploration d'une diffusion commune.
- Présentation de Data Direct Network (DDN) avec un accent sur l'IA et le système de fichiers parallèles Lustre, soulignant les défis et l'importance de comprendre les applications NumPEx.
L'après-midi s'est poursuivie par une visite des cinq projets (PC) du programme NumPEx :
- Exa-MA, qui vise à concevoir des algorithmes et des méthodes numériques évolutifs pour les prochaines machines exascales. Dirigé par Christophe Prudhomme (Université de Strasbourg) et Hélène Barucq (Inria).
- Exa-Soft, pour développer une pile logicielle cohérente, portable, efficace et résistante pour l'exascale. Dirigé par Raymond Namyst (Inria) et Alfredo Buttari (CNRS - Centre national de la recherche scientifique).
- Exa-DoST, pour relever les défis liés aux données, notamment le stockage, les E/S, le traitement in situ et l'analyse intelligente, dans les superordinateurs exascales. Dirigé par Gabriel Antoniu (Inria) et Julien Bigot (CEA).
- Exa-ATOW, pour traiter les flux de travail à grande échelle impliquant des machines exascales. Dirigé par François Bodin (Université de Rennes), Mark Asch (Université de Picardie Jules Verne (UPJV)), et Thierry Deutsch (CEA).
- Exa-DI, pour assurer la co-conception transversale et la productivité des logiciels pour les supercalculateurs exascales. Dirigé par Jean-Pierre Vilotte (CNRS) et Valérie Brenner (CEA).
La journée s'est terminée en mettant l'accent sur les efforts de collaboration entre NumPEx et d'autres initiatives, notamment en ce qui concerne le développement d'étalons, les liens entre les logiciels et le matériel, et l'objectif global de se préparer aux défis de l'ère Exascale.
La deuxième journée a débuté par un jogging matinal revigorant le long du bord de mer, donnant un ton dynamique à une journée remplie d'ateliers thématiques. Les participants ont participé à des discussions ciblées sur les synergies énergétiques, l'intégration du GPU, les applications, la coconception, le genre, la diversité et l'équité, l'intégration de la production de logiciels, la formation, la résilience, les collaborations internationales et l'intelligence artificielle. Des ateliers thématiques, animés par des experts du domaine, ont favorisé la collaboration au sein de groupes plus restreints, soulignant l'engagement du programme en faveur d'une approche transversale des défis de l'Exascale.
Le dernier jour a commencé par une synthèse des résultats de l'atelier, soulignant la profondeur des discussions dans chaque domaine thématique. Les animateurs des ateliers ont consolidé leurs connaissances, offrant une vue panoramique des défis et des opportunités. Voici un aperçu des principales idées et actions stratégiques discutées lors de ces ateliers :
Atelier sur les accélérateurs de GPU
Lors d'un atelier consacré aux accélérateurs de GPU, les experts ont souligné le rôle essentiel des unités de traitement graphique (GPU) dans la réalisation d'un calcul à grande échelle. Étant donné que 90 à 99 % des performances des grandes machines sont attribuées à l'accélération des GPU, l'atelier a mis en évidence la nécessité pour les applications d'explorer le potentiel de ces puissants processeurs. Parmi les défis abordés figurent les nouveaux paradigmes de programmation, la portabilité du code, la gestion des données et le paysage matériel induit par les jeux et l'intelligence artificielle. L'atelier a présenté un plan complet, comprenant des ateliers futurs, des documents d'analyse, des tutoriels, des hackathons et des exemples de mini-applications portées avec succès.
Atelier sur l'énergie
L'atelier sur l'énergie s'est concentré sur la réalisation d'un calcul Exascale dans une limite de consommation d'énergie de 20 MW. Les experts se sont penchés sur les dimensions environnementales, scientifiques, techniques et sociétales, fournissant une feuille de route pour la communauté HPC. Les principaux défis identifiés sont la modélisation de la consommation des systèmes, les outils de mesure en temps réel, la hiérarchisation des ressources en fonction de l'impact sociétal et l'impact environnemental plus large des activités de recherche. Le plan d'action prévoit l'élaboration d'un modèle de performance et de consommation, de stratégies d'optimisation, d'outils pour les utilisateurs et le développement de liens avec des entités externes afin d'intégrer des considérations énergétiques.
Séminaire sur l'équité entre les sexes et la diversité
Le plan d'action comprend l'établissement d'un code de conduite, l'évaluation de la répartition des sexes, la création d'une plateforme web pour les ressources, des initiatives d'éducation et de formation, des programmes de sensibilisation et de vulgarisation, ainsi qu'un engagement en faveur de l'accessibilité et de la reconnaissance. NumPEx vise à créer un avenir inclusif et collaboratif, en invitant toutes les parties prenantes à contribuer aux initiatives.
Atelier sur l'IA
L'atelier sur l'IA a exploré l'intersection critique du calcul intensif et de l'IA, en abordant les défis et en esquissant un plan stratégique pour une exploration collaborative. Les principales discussions ont porté sur les outils d'aide à la décision pour les applications d'IA dans le domaine du calcul intensif, l'optimisation des temps d'exécution des modèles d'IA et la convergence des utilisations du calcul intensif et de l'IA. Le plan d'action prévoit la création d'un groupe de travail sur l'IA, l'organisation d'ateliers transversaux et l'élaboration d'éléments fondamentaux pour un avenir convergent.
Atelier sur les stratégies de formation
L'atelier sur les stratégies de formation a abordé les complexités de la formation dans le contexte de l'ère exascale qui s'annonce. Les discussions ont porté sur la portée et les sujets des programmes de formation, la création de modèles de formation durables et les considérations économiques dans les initiatives de formation. L'atelier a mis l'accent sur des initiatives de formation collaboratives et inclusives afin de préparer la communauté scientifique aux défis et aux opportunités de l'informatique exascale.
Atelier sur les collaborations internationales
L'atelier sur les collaborations internationales s'est concentré sur l'identification des défis et la définition d'objectifs pour des cadres de collaboration renforcés à l'échelle européenne et mondiale. Les discussions ont porté sur les défis scientifiques et technologiques, la conception et le développement de la pile logicielle exascale et les plans d'action stratégiques. La feuille de route esquissée comprend l'organisation d'ateliers, l'échange d'idées et d'expériences et le renforcement des collaborations avec des entités internationales.
Atelier d'intégration des centres nationaux
L'atelier d'intégration des centres nationaux visait à aligner NumPEx sur les infrastructures HPC, en mettant l'accent sur les éléments opérationnels entre les centres de calcul et les projets ciblés par NumPEx. Les discussions ont porté sur l'évaluation opérationnelle, la cybersécurité, le profilage professionnel et la traçabilité. L'atelier a établi un plan de vidéoconférences régulières, garantissant une communication et une collaboration continues.
Atelier de production de logiciels
L'atelier sur la production de logiciels s'est concentré sur la rationalisation des pratiques de développement de logiciels dans le domaine du calcul intensif. Parmi les défis abordés, citons la réduction des cloisonnements, l'application des bonnes pratiques et l'amplification de l'impact. Les idées et les conclusions ont mis en évidence les diverses pratiques de développement, les modèles de durabilité et le déploiement de l'intégration continue et de la certification. L'engagement de NumPEx à faire progresser les pratiques de production de logiciels vise à favoriser l'innovation, la collaboration et le développement durable dans le domaine du calcul intensif.
Atelier sur la résilience Exascale
L'atelier "Exascale Resilience Workshop" a permis d'aborder les complexités liées au déploiement d'applications exascales. Les discussions ont porté sur les différentes approches des PC NumPEx, les principaux défis et les choix stratégiques. Le plan d'action comprend l'énumération et l'analyse des besoins en matière d'applications, l'analyse des obstacles à l'adoption par les bibliothèques et l'examen minutieux des solutions internationales. NumPEx vise à encourager les solutions collaboratives pour améliorer la résilience des applications à l'échelle mondiale.
Applications et atelier de co-conception
L'atelier sur les applications et la co-conception a encouragé les stratégies de co-développement pour le développement d'applications avancées. Les discussions ont porté sur les défis de la co-conception, les questions clés pour l'exploration collective, l'établissement de liens et les initiatives de durabilité. L'atelier a préparé le terrain pour les prochains ateliers sur les projets de codéveloppement, en mettant l'accent sur la collaboration et l'innovation.
Alors que les dirigeants font leurs adieux à Perros-Guirrec, NumPEx se prépare à transformer les visions et les idées partagées en actions tangibles dans le domaine du calcul Exascale. Le coup d'envoi a marqué le début d'une collaboration et NumPEx est prêt à prendre la tête de l'innovation scientifique.
Pour connaître les dernières mises à jour et l'état d'avancement du programme NumPEx, consultez notre section "Actualités". Le voyage vers Exascale a commencé, et NumPEx est à l'avant-garde de cette expédition pionnière.
Qu'est-ce que l'exascale ?
Dans le monde d’aujourd’hui, l’information est devenue une ressource essentielle. Des quantités massives de données sont produites chaque jour, à partir de diverses sources telles que les réseaux sociaux, les capteurs, les simulations scientifiques et bien d’autres encore. Pour traiter efficacement ces données et relever les défis complexes de notre époque, il est essentiel de disposer de puissantes capacités informatiques.
C’est là que l’exascale entre en jeu. Exascale est une mesure de la puissance de calcul qui représente un trillion (10^18) d’opérations en virgule flottante par seconde, ou un million de milliards de calculs par seconde. Ces performances sont tout simplement stupéfiantes et dépassent de loin celles de tous les superordinateurs existants.
Découvrez l’exascale : La puissance de calcul du futur
La course à l’exascale :
Depuis les premiers ordinateurs électroniques, la puissance de calcul des machines a augmenté de manière exponentielle grâce à l’évolution des technologies. Les demandes de calcul devenant de plus en plus complexes, les chercheurs et les ingénieurs se sont fixé pour objectif d’atteindre l’exascale. Cela a donné lieu à une véritable course à l’innovation dans le domaine des supercalculateurs.
Défis technologiques :
Pour atteindre l’exascale, il ne suffit pas d’augmenter la vitesse des processeurs. Cela nécessite une approche multidimensionnelle qui intègre plusieurs domaines de recherche. L’un des principaux défis consiste à concevoir des processeurs plus économes en énergie, capables de traiter des milliards de calculs tout en minimisant la consommation d’énergie.
En outre, l’architecture des superordinateurs doit être repensée pour exploiter pleinement les performances des processeurs. Les architectures parallèles et distribuées, ainsi que l’utilisation de processeurs spécialisés tels que les accélérateurs graphiques (GPU), jouent un rôle clé dans la réalisation de l’exascale.
Applications Exascale :
L’exascale ouvre la voie à de nombreuses possibilités dans divers domaines. Dans le domaine de la science et de la recherche, elle permettra des simulations plus précises et plus rapides, ce qui favorisera des avancées significatives dans des domaines tels que la recherche médicale, la météorologie, la physique des matériaux, l’astrophysique et bien d’autres encore.
Exascale est également essentiel pour le développement de l’intelligence artificielle et de l’apprentissage automatique. Les modèles d’apprentissage profond, qui nécessitent des quantités massives de données et de calculs, pourront être formés beaucoup plus rapidement, ce qui permettra des avancées plus rapides dans ces domaines.