Stratégie pour l'interopérabilité des infrastructures scientifiques numériques
L’évolution des volumes de données et des capacités de calcul est en train de remodeler le paysage numérique scientifique. Pour exploiter pleinement ce potentiel, NumPEx et ses partenaires développent une stratégie d’interopérabilité ouverte reliant les principaux instruments, centres de données et infrastructures de calcul.
Alimenté par les données produites par les grands instruments (télescopes, satellites, etc.) et l’intelligence artificielle, le paysage scientifique numérique subit une profonde transformation, alimentée par les progrès rapides des capacités de calcul, de stockage et de communication. Le potentiel scientifique de cette révolution intrinsèquement multidisciplinaire réside dans la mise en œuvre de chaînes de calcul et de traitement hybrides, intégrant de plus en plus les infrastructures HPC, les centres de données et les grands instruments.
Anticipant l’arrivée de la machine exascale Alice Recoque, les partenaires et collaborateurs de NumPEx (SKA-France, MesoCloud, PEPR NumPEx, Data Terra, Climeri, TGCC, Idris, Genci) ont décidé de coordonner leurs efforts pour proposer des solutions d’interopérabilité permettant de déployer des chaînes de traitement exploitant pleinement l’ensemble des infrastructures de recherche.
L’objectif de ce travail est de définir une stratégie ouverte pour la mise en œuvre de solutions d’interopérabilité, en conjonction avec de grands instruments scientifiques, afin de faciliter l’analyse des données et d’améliorer la reproductibilité des résultats.
Figure : Vue d’ensemble d’Impact-HPC.
PEPR NumPEx
Impacts-HPC : une bibliothèque Python pour mesurer et comprendre l'empreinte environnementale du calcul scientifique
L’empreinte environnementale du calcul scientifique va bien au-delà de la consommation d’électricité. Impacts-HPC présente un cadre complet pour évaluer les impacts du HPC sur l’ensemble de son cycle de vie, de la fabrication des équipements à la consommation d’énergie, au moyen d’indicateurs environnementaux clés.
L’empreinte écologique du calcul scientifique est souvent réduite à la consommation d’électricité pendant l’exécution. Cependant, cela ne reflète qu’une partie du problème. Impacts-HPC vise à dépasser cette vision limitée en intégrant également l’impact de la fabrication des équipements et en élargissant le spectre des indicateurs pris en compte.
Cet outil permet également de retracer les étapes d’un workflow informatique et de documenter les sources utilisées, améliorant ainsi la transparence et la reproductibilité. Dans un contexte où la crise environnementale nous oblige à considérer simultanément le climat, les ressources et les autres frontières planétaires, de tels outils deviennent indispensables.
La bibliothèque Impacts-HPC couvre plusieurs étapes du cycle de vie : la fabrication et l’utilisation des équipements. Elle met à la disposition des utilisateurs trois indicateurs essentiels :
– Énergie primaire (MJ) : plus pertinente que l’électricité seule, car elle inclut les pertes de conversion tout au long de la chaîne énergétique.
– Impact sur le climat (gCO₂eq): calculé en agrégeant et en convertissant différents gaz à effet de serre en équivalents CO₂.
– Épuisement des ressources (g Sb eq): reflète l’utilisation de ressources non renouvelables, en particulier les minéraux métalliques et non métalliques.
C’est la première fois qu’un tel outil est proposé pour une utilisation directe par les communautés de calcul scientifique, avec une approche intégrée et documentée.
Cette bibliothèque ouvre la voie à une évaluation plus détaillée des impacts environnementaux associés au calcul scientifique. Les prochaines étapes consistent à l’intégrer dans des environnements de jumeaux numériques, à ajouter des données en temps réel (mix énergétique, stockage, transferts) et à la tester sur un centre HPC de référence (IDRIS).
Figure : Vue d’ensemble d’Impact-HPC.
PEPR NumPEx
Stockage de quantités massives de données : mieux comprendre pour mieux concevoir et optimiser
Il est essentiel de comprendre comment les applications scientifiques lisent et écrivent les données pour concevoir des systèmes de stockage qui répondent réellement aux besoins du calcul intensif. La caractérisation fine des E/S permet d’orienter les stratégies d’optimisation et l’architecture des futures infrastructures de stockage.
Les données sont au cœur des applications scientifiques, qu’il s’agisse de données d’entrée ou de résultats de traitement. Depuis plusieurs années, la gestion des données (lecture et écriture, également appelées E/S) constitue un obstacle au déploiement à grande échelle de ces applications. Afin de concevoir des systèmes de stockage plus performants, capables d’absorber et d’optimiser ces E/S, il est essentiel de comprendre comment les applications lisent et écrivent les données.
Grâce aux différents outils et méthodes que nous avons développés, nous sommes en mesure de produire une caractérisation détaillée du comportement E/S des applications scientifiques. Par exemple, sur la base des données d’exécution des superordinateurs, nous pouvons montrer que moins d’un quart des applications effectuent des accès réguliers (périodiques), ou que les accès concurrents au système de stockage principal sont moins fréquents que prévu.
Ce type de résultat est déterminant à plusieurs égards. Il permet par exemple de proposer des méthodes d’optimisation des entrées-sorties qui répondent à des comportements applicatifs clairement identifiés. Cette caractérisation est également un élément concret qui influence les choix de conception des futurs systèmes de stockage, toujours dans le but de répondre aux besoins des applications scientifiques.
Figure : Étape de la classification des données.
PEPR NumPEx
Une nouvelle génération de bibliothèques d'algèbre linéaire pour les superordinateurs modernes
Les bibliothèques d’algèbre linéaire sont au cœur du calcul scientifique et de l’intelligence artificielle. En repensant leur exécution sur des architectures hybrides CPU/GPU, de nouveaux modèles basés sur des tâches permettent des gains significatifs en termes de performance, de portabilité et d’utilisation des ressources.
Les bibliothèques de résolution ou de manipulation de systèmes linéaires sont utilisées dans de nombreux domaines de la simulation numérique (aéronautique, énergie, matériaux) et de l’intelligence artificielle (apprentissage). Nous cherchons à rendre ces bibliothèques aussi rapides que possible sur des supercalculateurs combinant des processeurs traditionnels et des accélérateurs graphiques (GPU). Pour ce faire, nous utilisons des modèles d’exécution asynchrones basés sur des tâches qui maximisent l’utilisation des unités de calcul.
Il s’agit d’un domaine de recherche actif, mais la plupart des approches existantes sont confrontées au problème difficile de la division du travail dans la « bonne granularité » pour les unités de calcul hétérogènes. Au cours des derniers mois, nous avons développé plusieurs extensions à un modèle de programmation parallèle basé sur les tâches, appelé STF (Sequential Task Flow), qui permet de mettre en œuvre des algorithmes complexes d’une manière beaucoup plus élégante, concise et portable. En combinant ce modèle avec des techniques de partitionnement dynamique et récursif du travail, nous augmentons significativement les performances sur les supercalculateurs équipés d’accélérateurs tels que les GPU, notamment grâce à la possibilité d’adapter dynamiquement la granularité des calculs en fonction de l’occupation des unités de calcul. Par exemple, grâce à cette approche, nous avons obtenu une accélération de 2x par rapport à d’autres bibliothèques de pointe (MAGMA, Parsec) sur un ordinateur hybride CPU/GPU.
Les opérations d’algèbre linéaire sont souvent les étapes les plus coûteuses dans de nombreuses applications de calcul scientifique, d’analyse de données et d’apprentissage profond. Par conséquent, toute amélioration des performances des bibliothèques d’algèbre linéaire peut potentiellement avoir un impact significatif pour de nombreux utilisateurs de ressources informatiques à haute performance.
Les extensions proposées au modèle STF sont génériques et peuvent également bénéficier à de nombreux codes de calcul au-delà du champ d’application de l’algèbre linéaire.
Au cours de la prochaine période, nous souhaitons étudier l’application de cette approche aux algorithmes d’algèbre linéaire pour les matrices peu denses ainsi qu’aux algorithmes d’algèbre multi-linéaire (calculs tensoriels).
L’adaptation de la granularité permet d’assigner les petites tâches aux CPU, qui ne les occuperont pas trop longtemps, évitant ainsi des retards pour le reste de la machine, tout en continuant d’assigner les grandes tâches aux GPU afin qu’ils restent efficaces.
Figure : L’ajustement de la taille du grain permet d’assigner des tâches plus petites aux CPU, qui ne prendront pas trop de leur temps, évitant ainsi des retards pour le reste de la machine, tout en continuant d’assigner des tâches plus importantes aux GPU afin qu’ils restent efficaces.
PEPR NumPEx
Du dépôt Git à l'exécution en masse : Exa-MA industrialise le déploiement d'applications HPC conformes à NumPEx
En unifiant les flux de travail et en automatisant les étapes clés du cycle de vie des logiciels HPC, le cadre Exa-MA contribue à un déploiement plus fiable, portable et efficace des applications sur les systèmes nationaux et EuroHPC.
Les applications HPC nécessitent reproductibilité, portabilité et tests à grande échelle, mais le passage du code à l’ordinateur reste long et hétérogène selon les sites. L’objectif est d’unifier le cadre applicatif Exa-MA et d’automatiser les constructions, les tests et les déploiements conformément aux directives NumPEx.
Un cadre d’application Exa-MA a été mis en place, intégrant la gestion des modèles, des métadonnées et des procédures de vérification et de validation (V&V). Parallèlement, une chaîne complète de CI/CD HPC a été déployée, combinant Spack, Apptainer/Singularity et la soumission automatisée via ReFrame/SLURM orchestrée par GitHub Actions. Cette infrastructure fonctionne de manière transparente sur les ordinateurs nationaux français et les plateformes EuroHPC, avec une automatisation de bout en bout des étapes critiques.
Dans les premiers cas d’utilisation, le délai entre la validation du code et l’exécution à grande échelle a été réduit de plusieurs jours à moins de 24 heures, sans aucune intervention manuelle sur le site. Les performances sont désormais contrôlées par des tests de non-régression (évolutivité élevée/faible) et seront bientôt améliorées par des artefacts de profilage.
L’approche déployée révolutionne l’intégration des applications Exa-MA, accélère l’onboarding et assure une qualité contrôlée grâce à des tests automatisés et une traçabilité complète.
La prochaine phase du projet consiste à mettre en ligne les applications Exa-MA et à déployer un tableau de bord des performances.
Figure : Analyse comparative des pages d’un site web avec des vues par application, par machine et par cas d’utilisation.
PEPR NumPEx
Des données urbaines aux maillages multicouches étanches, prêts pour la simulation énergétique à l'échelle de la ville
Comment modéliser une ville entière pour mieux comprendre sa dynamique énergétique, aéraulique et thermique ? Les données urbaines sont abondantes – bâtiments, routes, terrain, végétation – mais souvent incohérentes ou incomplètes. Un nouveau pipeline de maillage SIG permet désormais de générer automatiquement des modèles de ville étanches et prêts à être simulés, permettant des simulations énergétiques et microclimatiques réalistes à l’échelle urbaine.
La modélisation de l’énergie urbaine, du vent et de la chaleur nécessite des géométries fermées et cohérentes, alors que les données disponibles (bâtiments, routes, terrain, hydrographie, végétation) sont hétérogènes et souvent non étanches. L’objectif est donc de reconstruire des maillages urbains étanches à LoD-0/1, interopérables et enrichis d’attributs physiques et de modèles.
Un pipeline SIG-maillage a été développé pour automatiser la génération de modèles urbains fermés. Il intègre l’ingestion de données via Mapbox, des opérations géométriques robustes utilisant Ktirio-Geom (basé sur CGAL), ainsi que des booléens multicouches assurant la fermeture topologique des scènes. Des zones urbaines couvrant plusieurs kilomètres carrés sont ainsi converties en modèles solides LoD-1/2 cohérents (bâtiments, routes, terrain, rivières, végétation). Le temps de préparation des modèles est réduit de plusieurs semaines à quelques minutes, avec un gain significatif de stabilité numérique.
Les résultats sont interopérables avec le modèle de bâtiment urbain (Ktirio-UBM) et compatibles avec les solveurs d’énergie et de CFD.
Ce développement permet un accès rapide à des cas urbains réalistes, utilisables pour des simulations énergétiques et microclimatiques, tout en favorisant le partage de jeux de données au sein de l’écosystème du Centre d’excellence Hidalgo².
L’étape suivante consiste à publier des jeux de données de référence – modèles étanches et scripts associés – sur la plateforme CKAN (n.hidalgo2.eu). Ces travaux ouvrent la voie au couplage entre CFD et simulation énergétique, et à la création d’outils dédiés à l’étude et à la réduction des îlots de chaleur urbains.
Chiffres : Reconstruction de la ville de Grenoble dans un rayon de 5 km, y compris le réseau routier, les rivières et les plans d’eau. La végétation n’a pas été incluse afin de réduire la taille du maillage, qui comprend ici environ 6 millions de triangles – un chiffre qui doublerait au moins si la végétation était incluse.
PEPR NumPEx
L'assemblée annuelle 2025 d'Exa-Soft
The 2025 Exa-SofT Annual Assembly took place from 19 to 21 October, 2025, bringing together more than 60 researchers and engineers from academia and industry to discuss progress on scientific computing software, share results from work packages, and welcome the latest recruits.
Jeudi 19 octobre 2025
- General presentation of the project within its broader context (NumPEx)
by Raymond Namyst, professor at University of Bordeaux
and Alfredo Buttari, CNRS research scientist - Overview of each Work Package (WP)
by WP leaders
WP1 – Efficient and composable programming
models
By Marc Perache, CEA
Christian Perez, Inria
WP2 – Compilation and Automatic Code
Optimization
By Philippe Clauss, Inria
WP3 – Runtime Systems at Exascale
By Samuel Thibault, University of Bordeaux
WP4 – Numerical Libraries
By Marc Baboulin, Université Paris-Saclay
Abdou Guermouche, University of Bordeaux
WP5 – Performance analysis and
prediction
By François Trahay, Télécom SudParis
WP6 – Digital for Exascale
Energy management
By Georges Da Costa, Université de Toulouse
Amina Guermouche, Inria - Focus on 3 scientific results by recruits
by Ugo Battiston (WP1 & WP2)
Alec Sadler (WP2)
Erwan Auer (WP2)
Vendredi 20 octobre 2025
-
Focus on 3 scientific results by recruits
by Raphaël Colin (WP2)
Thomas Morin (WP3)
Karmijn Hoogveld (WP4) -
Talk by David Goudin, Eviden
-
Introduction to our latest recruits
by Nicolas Ducarton (WP3)
Brieuc Nicolas (WP4)
Matthieu Robeyns (WP4)
Samuel Mendoza (WP4)
Jules Evans (WP6)
Assia Mighis (WP6)
3 minutes each to introduce themselves and their research -
3 presentations of mini-apps by Exa-DI
Proxy-Geos
by Henri Calandra, Total Energies
Dyablo
by Arnaud Durocher, CEA
Unstructured mesh generation for Exascale systems: a proxy application approach
by Julien Vanharen, Inria
20 minutes per mini-app: presentation + discussion on objectives, coding, status, needs, bottlenecks, and support from PC2 -
Breakout sessions for regular members / private exchanges for Board members
by Henri Calandra, Arnaud Durocher, Julien Vanharen
Technical discussions between Exa-Soft members and mini-app developers -
Board meeting feedback to Exa-Soft leaders
Session restricted to Board members, Exa-Soft leaders, and ANR
Saturday, 21 October 2025
-
Retour d’information sur les sessions en petits groupes
-
Focus sur 3 résultats scientifiques par les recrues
par Catherine Guelque (WP5)
Jules Risse (WP5 & WP6)
Albert d’Aviau (WP6) -
Mot de la fin : prochaines étapes, livrables
par Raymond Namyst, professeur à l’Université de Bordeaux
et Alfredo Buttari, chercheur au CNRS
Participantes et participants
- Emmanuel Agullo, Inria
- Erwan Auer, Inria
- Ugo Battiston, Inria
- Marc Baboulin, Université Paris-Saclay
- Vicenç Beltran Querol, BSC
- Jean-Yves Berthou, Inria
- Julien Bigot, CEA
- Jérôme Bobin, CEA
- Valérie Brenner, CEA
- Elisabeth Brunet, Telecom SudParis
- Alfredo Buttari, CNRS
- Henri Calandra, Total Energies
- Jérôme Charousset, CEA
- Philippe Clauss, Inria
- Raphaël Colin, Inria
- Albert d’Aviau de Piolant, Inria
- Georges Da Costa, Université de Toulouse
- Marco Danelutto, Université de Pise
- Stéphane de Chaisemartin, IFPEN
- Alexandre Denis, Inria
- Nicolas Ducarton, Inria
- Arnaud Durocher, CEA
- Assia Mighis, CNRS
- Bernd Mohr, Jülich
- Thomas Morin, Inria
- Jules Evans, CNRS
- Clémence Fontaine, ANR
- Nathalie Furmento, CNRS
- David Goudin, Eviden
- Catherine Guelque, Telecom SudParis
- Abdou Guermouche, Université de Bordeaux
- Amina Guermouche, Inria
- Julien Herrmann, CNRS
- Valentin Honoré, ENSIIE
- Karmijn Hoogveld, CNRS
- Félix Kpadonou, CEA
- Jerry Lacmou Zeutouo, Université de Picardie
- Sherry Li, Lawrence Berkeley National Laboratory
- Pérache Marc, CEA
- Théo Mary, CNRS
- Samuel Mendoza, Inria
- Julienne Moukalou, Inria
- Raymond Namyst, Université de Bordeaux
- Brieuc Nicolas, Inria
- Alix Peigue, INSA
- Christian Perez, Inria
- Lucas Pernollet, CEA
- Jean-Marc Pierson, IRIT
- Pierre-Etienne Polet, Inria
- Marie Reinbigler, Inria
- Vincent Reverdy, CNRS
- Jules Risse, Inria
- Matthieu Robeyns, IRIT
- Alexandre Roget, CEA
- Philippe Swartvaghe R, Inria
- Boris Teabe, ENSEEIHT
- Samuel Thibault, Université de Bordeaux
- François Trahay, Telecom SudParis
- Julien Vanharen, Inria
- Jean-Pierre Vilotte, CNRS
- Pierre Wacrenier, Inria
© PEPR NumPEx
Logistique des données pour la radioastronomie
Mathis Certenais, doctorant à l’IRISA et membre de NumPEx, mène ses recherches au sein du laboratoire ECLAT, où il développe des solutions innovantes de logistique de données pour la radioastronomie à l’ère de l’exascale. En travaillant en étroite collaboration avec des astrophysiciens, des informaticiens et des partenaires industriels, il conçoit des flux de travail collaboratifs capables de relever les défis scientifiques de demain, tout en contribuant au sein de YoungPEx à des réflexions sur l’interdisciplinarité, l’efficacité énergétique et la recherche responsable.
« Au sein de Youngpex, nous travaillons sur les sujets d’empreinte énergétique, comment faire de la recherche de manière écoresponsable, et la pluridisciplinarité dans le contexte de la recherche scientifique. »
Crédit photo : Laboratoire ECLAT
Comprenons-nous vraiment le comportement temporel des I/O dans les applications HPC — et pourquoi est-ce important ?
Exa-DoST est fier de partager sa dernière publication parue lors de la conférence IPDPS 2025 : Un regard approfondi sur le comportement temporel des E/S des applications HPC.
Dans le cadre d’une collaboration entre Inria (France), TU Darmstadt (Allemagne)et le LNCC (Brésil), Francieli Boito, Luan Teylo, Mihail Popov, Theo Jolivel, François Tessier, Jakob Luettgau, Julien Monniot, Ahmad Tarraf, André Carneiro et Carla Osthoff ont réalisé une étude à grande échelle sur le comportement temporel des entrées/sorties (I/O) en calcul haute performance (HPC), basée sur plus de 440 000 traces collectées sur 11 ans auprès de quatre grands systèmes HPC.
Comprendre le comportement temporel des I/O est essentiel pour améliorer les performances des applications HPC, en particulier alors que l’écart entre les vitesses de calcul et celles des I/O ne cesse de s’accentuer. De nombreuses techniques existantes — telles que l’allocation de buffers intermédiaires (burst buffers), la planification des I/O ou la coordination des tâches par lots — reposent sur des hypothèses concernant ce comportement. Ce travail examine des questions fondamentales liées à la temporalité, la périodicité et la concurrence des I/O dans des charges de travail réelles. En analysant les traces du point de vue à la fois du système et des applications, nous proposons une caractérisation détaillée des interactions entre les applications HPC et le sous-système I/O au fil du temps.
Principales contributions :
-
Une classification des motifs temporels récurrents dans des charges de travail variées.
-
Des observations sur la concurrence des I/O et l’utilisation partagée des ressources.
-
La mise à disposition publique des jeux de données utilisés afin de soutenir la recherche future.
Nos résultats constituent une base empirique solide pour le développement d’outils de monitoring adaptés au comportement des applications, de nouvelles stratégies de planification des I/O, et de modèles de performance plus précis.
Lisez la version complète sur HAL.
Crédit photo : Francieli Boito
Atelier InPEx 2025
Du 14 au 17 avril 2025, le réseau international d’experts InPEx (Europe, Japon, USA) se réunit à Kanagawa, au Japon, pour le workshop 2025, dédié aux défis de l’ère post-Exascale. Un événement accueilli par RIKEN-CSS et des universités japonaises, avec le soutien du programme de recherche NumPEx
Retrouvez toutes les contributions de NumPEx ci-dessous :
- Introduction, avec Jean-Yves Berthou, directeur Inria du NumPEx et représentant pour l’Europe
-
IA et HPC : partage de benchmarks centrés sur l’IA pour les flux de travail hybrides
Co-présidé par Jean-Pierre Vilotte (CNRS) -
Production et gestion de logiciels
Co-présidé par Julien Bigot (CEA) -
IA et HPC : IA générative pour la science
Co-présidé par Alfredo Buttari (IRIT) et Thomas Moreau (Inria) -
Continuum numérique et gestion des données
Co-présidé par Gabriel Antoniu (Inria)
Si vous souhaitez en savoir plus, toutes les présentations sont disponibles sur le site web d’InPEx.
Crédit photo : Corentin Lefevre/Neovia Innovation/Inria