Stratégie pour l'interopérabilité des infrastructures scientifiques numériques
L’évolution des volumes de données et des capacités de calcul est en train de remodeler le paysage numérique scientifique. Pour exploiter pleinement ce potentiel, NumPEx et ses partenaires développent une stratégie d’interopérabilité ouverte reliant les principaux instruments, centres de données et infrastructures de calcul.
Alimenté par les données produites par les grands instruments (télescopes, satellites, etc.) et l’intelligence artificielle, le paysage scientifique numérique subit une profonde transformation, alimentée par les progrès rapides des capacités de calcul, de stockage et de communication. Le potentiel scientifique de cette révolution intrinsèquement multidisciplinaire réside dans la mise en œuvre de chaînes de calcul et de traitement hybrides, intégrant de plus en plus les infrastructures HPC, les centres de données et les grands instruments.
Anticipant l’arrivée de la machine exascale Alice Recoque, les partenaires et collaborateurs de NumPEx (SKA-France, MesoCloud, PEPR NumPEx, Data Terra, Climeri, TGCC, Idris, Genci) ont décidé de coordonner leurs efforts pour proposer des solutions d’interopérabilité permettant de déployer des chaînes de traitement exploitant pleinement l’ensemble des infrastructures de recherche.
L’objectif de ce travail est de définir une stratégie ouverte pour la mise en œuvre de solutions d’interopérabilité, en conjonction avec de grands instruments scientifiques, afin de faciliter l’analyse des données et d’améliorer la reproductibilité des résultats.
Figure : Vue d’ensemble d’Impact-HPC.
PEPR NumPEx
Impacts-HPC : une bibliothèque Python pour mesurer et comprendre l'empreinte environnementale du calcul scientifique
L’empreinte environnementale du calcul scientifique va bien au-delà de la consommation d’électricité. Impacts-HPC présente un cadre complet pour évaluer les impacts du HPC sur l’ensemble de son cycle de vie, de la fabrication des équipements à la consommation d’énergie, au moyen d’indicateurs environnementaux clés.
L’empreinte écologique du calcul scientifique est souvent réduite à la consommation d’électricité pendant l’exécution. Cependant, cela ne reflète qu’une partie du problème. Impacts-HPC vise à dépasser cette vision limitée en intégrant également l’impact de la fabrication des équipements et en élargissant le spectre des indicateurs pris en compte.
Cet outil permet également de retracer les étapes d’un workflow informatique et de documenter les sources utilisées, améliorant ainsi la transparence et la reproductibilité. Dans un contexte où la crise environnementale nous oblige à considérer simultanément le climat, les ressources et les autres frontières planétaires, de tels outils deviennent indispensables.
La bibliothèque Impacts-HPC couvre plusieurs étapes du cycle de vie : la fabrication et l’utilisation des équipements. Elle met à la disposition des utilisateurs trois indicateurs essentiels :
– Énergie primaire (MJ) : plus pertinente que l’électricité seule, car elle inclut les pertes de conversion tout au long de la chaîne énergétique.
– Impact sur le climat (gCO₂eq): calculé en agrégeant et en convertissant différents gaz à effet de serre en équivalents CO₂.
– Épuisement des ressources (g Sb eq): reflète l’utilisation de ressources non renouvelables, en particulier les minéraux métalliques et non métalliques.
C’est la première fois qu’un tel outil est proposé pour une utilisation directe par les communautés de calcul scientifique, avec une approche intégrée et documentée.
Cette bibliothèque ouvre la voie à une évaluation plus détaillée des impacts environnementaux associés au calcul scientifique. Les prochaines étapes consistent à l’intégrer dans des environnements de jumeaux numériques, à ajouter des données en temps réel (mix énergétique, stockage, transferts) et à la tester sur un centre HPC de référence (IDRIS).
Figure : Vue d’ensemble d’Impact-HPC.
PEPR NumPEx
Stockage de quantités massives de données : mieux comprendre pour mieux concevoir et optimiser
Il est essentiel de comprendre comment les applications scientifiques lisent et écrivent les données pour concevoir des systèmes de stockage qui répondent réellement aux besoins du calcul intensif. La caractérisation fine des E/S permet d’orienter les stratégies d’optimisation et l’architecture des futures infrastructures de stockage.
Les données sont au cœur des applications scientifiques, qu’il s’agisse de données d’entrée ou de résultats de traitement. Depuis plusieurs années, la gestion des données (lecture et écriture, également appelées E/S) constitue un obstacle au déploiement à grande échelle de ces applications. Afin de concevoir des systèmes de stockage plus performants, capables d’absorber et d’optimiser ces E/S, il est essentiel de comprendre comment les applications lisent et écrivent les données.
Grâce aux différents outils et méthodes que nous avons développés, nous sommes en mesure de produire une caractérisation détaillée du comportement E/S des applications scientifiques. Par exemple, sur la base des données d’exécution des superordinateurs, nous pouvons montrer que moins d’un quart des applications effectuent des accès réguliers (périodiques), ou que les accès concurrents au système de stockage principal sont moins fréquents que prévu.
Ce type de résultat est déterminant à plusieurs égards. Il permet par exemple de proposer des méthodes d’optimisation des entrées-sorties qui répondent à des comportements applicatifs clairement identifiés. Cette caractérisation est également un élément concret qui influence les choix de conception des futurs systèmes de stockage, toujours dans le but de répondre aux besoins des applications scientifiques.
Figure : Étape de la classification des données.
PEPR NumPEx