Stratégie pour l’interopérabilité des infrastructures numériques scientifiques
L’évolution des volumes de données et des capacités de calcul est en train de remodeler le paysage numérique scientifique. Pour exploiter pleinement ce potentiel, NumPEx et ses partenaires développent une stratégie d’interopérabilité ouverte reliant les principaux instruments, centres de données et infrastructures de calcul.
Porté par la production des données issues des grands instruments (télescopes, satellites, etc.) et de l’intelligence artificielle, le paysage numérique scientifique connaît une transformation profonde, alimentée par l’évolution rapide des capacités de calcul, de stockage et de communication. Le potentiel scientifique de cette révolution, intrinsèquement multidisciplinaire, repose sur la mise en œuvre de chaînes hybrides de calcul et de traitement, intégrant de manière croissante les infrastructures HPC, les centres de données et les grands instruments.
Anticipant l’arrivée de la machine Exascale Alice Recoque, les partenaires et collaborations de NumPEx (SKA-France, MesoCloud, PEPR Numpex, Data Terra, Climeri, TGCC, Idris, Genci) ont décidé de coordonner leurs efforts afin de proposer des solutions d’interopérabilité, permettant le déploiement de chaînes de traitement exploitant pleinement l’ensemble des infrastructures de recherche.
Les travaux ont pour objectif de définir une stratégie ouverte de mise en œuvre de solutions d’interopérabilité, en lien avec les grands instruments scientifiques, afin de faciliter l’analyse des données et de renforcer la reproductibilité des résultats.
Figure: Overview of Impact-HPC.
© PEPR NumPEx
Impacts-HPC : une bibliothèque Python pour mesurer et comprendre l'empreinte environnementale du calcul scientifique
L’empreinte environnementale du calcul scientifique va bien au-delà de la consommation d’électricité. Impacts-HPC présente un cadre complet pour évaluer les impacts du HPC sur l’ensemble de son cycle de vie, de la fabrication des équipements à la consommation d’énergie, au moyen d’indicateurs environnementaux clés.
L’empreinte environnementale des calculs scientifiques est souvent réduite à la consommation électrique pendant l’exécution. Or, cela ne reflète qu’une partie du problème. Impacts-HPC vise à dépasser cette vision limitée en intégrant aussi l’impact de la fabrication des équipements et en élargissant le spectre des indicateurs considérés.
Cet outil permet également de tracer les étapes d’un workflow de calcul et de documenter les sources utilisées, renforçant ainsi la transparence et la reproductibilité. Dans un contexte où la crise environnementale nous oblige à considérer simultanément climat, ressources et autres frontières planétaires, disposer de tels outils devient indispensable.
La librairie Impacts-HPC couvre plusieurs étapes du cycle de vie : fabrication et usage des équipements. Elle fournit aux utilisateurs trois indicateurs essentiels :
- Énergie primaire (MJ) : plus pertinent que la seule électricité, car il inclut les pertes de conversion tout au long de la chaîne énergétique.
- Impact climatique (gCO₂eq) : calculé par l’agrégation et la conversion des différents gaz à effet de serre en équivalents CO₂.
- Déplétion des ressources (g Sb eq) : reflétant l’utilisation de ressources non renouvelables, en particulier les minerais métalliques et non métalliques.
C’est la première fois qu’un tel outil est proposé pour un usage direct par les communautés du calcul scientifique, avec une approche intégrée et documentée.
Cette librairie ouvre la voie à une évaluation plus fine des impacts environnementaux liés au calcul scientifique. Les prochaines étapes incluent son intégration dans des environnements de type jumeau numérique, l’ajout de données en temps réel (mix énergétique, stockage, transferts), ainsi que des tests sur un centre HPC de référence (IDRIS). De nouveaux indicateurs, tels que la consommation d’eau, pourront venir compléter l’outil pour en faire une brique incontournable de l’évaluation environnementale du calcul haute performance.
Figure: Overview of Impact-HPC.
© PEPR NumPEx
Stockage de volumes massifs de données : mieux comprendre pour mieux concevoir et optimiser
Il est essentiel de comprendre comment les applications scientifiques lisent et écrivent les données pour concevoir des systèmes de stockage qui répondent réellement aux besoins du calcul intensif. La caractérisation fine des E/S permet d’orienter les stratégies d’optimisation et l’architecture des futures infrastructures de stockage.
Les données sont au cœur des applications scientifiques, qu’il s’agisse des données en entrées ou des résultats de traitements. Depuis plusieurs années, leur gestion (lecture et écriture, aussi appelées E/S) est un frein au passage à très large échelle de ces applications. Afin de concevoir des systèmes de stockage plus performants capables d’absorber et d’optimiser ces E/S, il est indispensable de comprendre comment les applications lisent et écrivent ces données.
Grâce aux différents outils et méthodes que nous avons développés, nous sommes capables de produire une caractérisation fine du comportement E/S des applications scientifiques. Par exemple, à partir des données d’exécution de supercalculateurs, nous pouvons montrer que moins d’un quart des applications effectuent des accès réguliers (périodiques) ou encore que les accès concurrents sur le système de stockage principal sont moins courants qu’attendus.
Ce type de résultat est déterminant à plusieurs titres. Il permet par exemple de proposer des méthodes d’optimisation des E/S qui répondent à des comportements clairement identifiés des applications. Une telle caractérisation est aussi un élément concret pour influencer les choix de conceptions de futurs systèmes de stockage, toujours dans le but de répondre aux besoins des applications scientifiques.
Figure : Étape de la classification des données.
PEPR NumPEx