Exa-DI
Développement et intégration
Projet ciblé
Présentation générale
Le projet Exa-DI est chargé de mettre en œuvre le processus de co-conception et de co-développement au sein de NumPEx afin de développer une pile logicielle permettant l’utilisation productive des systèmes exascale. Pour garantir la productivité, la portabilité et la pérennité des applications, il est nécessaire d’améliorer les méthodes de développement de logiciels scientifiques en s’appuyant sur des composants de haute qualité et régulièrement mis à jour (bibliothèques, frameworks et outils). Cet objectif est soutenu par une équipe nationale de développement et d’ingénierie logicielle (la Computational Data Team ; CDT) composée de chercheurs et d’ingénieurs possédant des expertises variées. La CDT comprend une équipe de développement (CDT-DT) chargée de co-développer des proxy/mini-applications basées sur des motifs algorithmiques communs à plusieurs démonstrateurs d’applications (AD), ainsi qu’une équipe de soutien (CDT-ET) chargée du packaging logiciel (par exemple, Guix, Spack) et du déploiement. Les activités de la CDT sont menées selon une méthodologie agile reposant sur un processus itératif ; cette approche est guidée par les besoins des applications et s’articule autour de motifs algorithmiques partagés (calcul, communication) ainsi que de méthodologies et de technologies communes de packaging et de déploiement.
À la suite d’ateliers de co-conception et de co-développement axés sur les motifs algorithmiques identifiés lors de l’analyse conjointe des démonstrateurs d’application (AD), six groupes de travail (GT), animés par des membres des équipes AD, sont désormais opérationnels. Leurs activités de co-conception et d’ingénierie CDT sont hébergées dans un espace GitLab nommé NumPEx-PC5. De plus, une infrastructure web a été mise en place pour prendre en charge l’intégration logicielle et les plateformes de collaboration, notamment en regroupant l’ensemble des modules de formation.
Partenaires et organisation
Consortium et lots de travail
Le projet Exa-DI a pour objectif d’accélérer le développement d’applications exascale, en proposant des « kits de développement logiciel » (SDK) – basés sur les méthodes, les frameworks, les bibliothèques et les composants logiciels développés dans le cadre des autres projets NumPEx Exa-MA, Exa-SofT, Exa-DoST et Exa-AToW — qui offrent des solutions durables, performantes et portables aux principaux motifs algorithmiques de calcul et de communication rencontrés dans les démonstrateurs d’applications exascale. Ces motifs sont traités à l’aide d’applications proxy dans le cadre d’un processus itératif de co-conception et de co-développement mené en collaboration avec les équipes scientifiques et industrielles chargées des applications.
Lot de travaux
Le projet Exa-DI comprend quatre lots de travail :
Le principe de la conception participative
Les groupes de travail de co-conception visent à réunir, dans le cadre d'une démarche collaborative :
- Les équipes chargées des applications confrontées à des défis similaires en matière d’exascale,
- Les équipes de R&D des autres projets NumPEx (Exa-MA, Exa-SofT, Exa-DoST, Exa-AToW) qui sont en mesure d’apporter des solutions partielles à ces défis,
- L’équipe CDT (Computational Data Team), chargée de regrouper et d’intégrer ces solutions partielles dans des « kits de développement » et des « applications proxy » validés.
Working Groups
6 Working Groups led by an application team member and a referent Exa-DI:
Résultats obtenus à ce jour
Résultats et impact
Activités d’Exa-DI :
- Analyse conjointe des démonstrateurs d’application (AD) : 27 démonstrateurs d’application couvrant un large éventail de domaines des sciences et de l’ingénierie computationnelles, avec un nombre croissant d’applications de flux de travail computationnels hybrides alliant IA et HPC.
- Ateliers Exa-DI en 2023 : discrétisation efficace des équations aux dérivées partielles à l’exascale et, en 2024, affinement adaptatif des maillages à structure par blocs à l’exascale, intelligence artificielle pour le calcul haute performance à l’exascale et flux de traitement à grande échelle pour le SKA
Groupes de travail sur la conception et le développement participatifs :
Le groupe de travail WG1 se concentre sur des motifs et sous-motifs algorithmiques transversaux spécifiques afin d’améliorer le développement de logiciels de nouvelle génération basés sur des éléments finis/spectraux d’ordre élevé, qui permettent à toute une gamme d’applications de fonctionner efficacement sur du matériel exascale grâce à des applications proxy et des mini-applications.
L’objectif du groupe de travail 2 (WG2) est de développer une application de démonstration illustrant la génération et le raffinement de maillages non structurés comportant des dizaines de milliards d’éléments, et proposant un ensemble de services permettant de discrétiser les opérateurs différentiels partiels basés sur la physique ; ce groupe de travail est actuellement en train de créer, de rassembler et d’intégrer les éléments de base nécessaires à cette application de démonstration.
Au sein du WG3, un test de performance « normalisé » visant à évaluer et à comparer les performances de différents cadres AMR sur diverses applications physiques est en cours de mise en œuvre ; le défi consiste à trouver des solutions communes pour remédier au goulot d’étranglement des codes AMR.
Pour le groupe de travail 4 (WG4), le défi consiste à déterminer comment faire évoluer à grande échelle les flux de travail hybrides IA-HPC distribués, tant pour le calcul des inverses que pour l’imagerie, sur de grandes infrastructures HPC, puis à identifier et évaluer les composants fondamentaux d’apprentissage automatique à utiliser, ainsi qu’à développer les modules logiciels nécessaires pour exploiter pleinement et faire évoluer ces cas d’utilisation.
Lancement : Groupe de travail n° 5 (WG5) – Flux de travail HPC couplés à l’IA – Modèles de substitution à l’échelle exascale et Groupe de travail n° 6 (WG6) – Flux de travail de traitement à grande échelle basés sur l’IA à l’échelle exascale
Package et déploiement de logiciels @exascale
- Renforcer et soutenir l’adoption des technologies logicielles de méta-compilation : Spack, Guix-HPC
- Mettre en place des collaborations avec les centres nationaux et régionaux de calcul haute performance (HPC) afin de soutenir les projets Spack et Guix-HPC
- Élaborer des supports de formation, organiser des webinaires et des hackathons consacrés à Spack, Guix-HPC et au catalogue de logiciels NumPeX
- Élaborer et encourager l’adoption des directives relatives au logiciel NumPeX
- Promouvoir les méthodologies d’évaluation de l’intégration des compétences et de la performance
Développement du logiciel Exa-DI
Points forts
Mettre en évidence
Faciliter le déploiement d'applications HPC sur des supercalculateurs exascale à l'aide de gestionnaires de paquets
L'installation, la portabilité et la reproductibilité des applications parallèles sur les grandes plateformes de calcul sont devenues de plus en plus complexes en raison de la complexité croissante des logiciels, des dépendances étendues (par exemple, les frameworks d'IA) et des architectures matérielles hétérogènes. Les approches actuelles, fondées sur des modules et utilisées sur la plupart des supercalculateurs, atteignent leurs limites, ce qui se traduit par des tâches chronophages tant pour les équipes d’assistance que pour les utilisateurs. Les gestionnaires de paquets logiciels modernes ouvrent la voie à un nouveau paradigme dans lequel les utilisateurs peuvent gérer directement l’installation de leurs logiciels et de leurs dépendances.
Dans le cadre des efforts d'intégration du logiciel NumPEx, Exa-DI recommande aux utilisateurs de recourir à des gestionnaires de paquets modernes afin d'exercer un contrôle direct et précis sur leur pile logicielle, en mettant particulièrement l'accent sur Guix et Spack. Dans ce contexte, une série de formations et d’actions d’accompagnement axées sur Guix, Spack et les spécificités du déploiement de logiciels sur les supercalculateurs a donc été organisée et dispensée par le Work Package 3 d’Exa-DI. Depuis 2025, 7 tutoriels NumPEx consacrés à Spack et Guix, destinés aux débutants et aux utilisateurs avancés, ont été dispensés et 200 personnes ont été formées.
L'adoption de nouvelles méthodes de déploiement de logiciels prend du temps. Exa-DI s'efforce en permanence d'aider les utilisateurs en proposant des formations et une assistance, en créant des paquets logiciels, en améliorant les outils et en nouant des partenariats avec des centres de supercalcul afin d'optimiser l'expérience utilisateur. L’ambition est de faire en sorte que toutes les bibliothèques liées à NUMPEX soient packagées avec Guix et Spack, d’intégrer le déploiement basé sur Guix/Spack à la panoplie d’outils de chaque développeur, et de collaborer avec les centres de calcul afin de rendre le déploiement de logiciels au niveau utilisateur, basé sur Guix/Spack, aussi fluide que possible.
Pour plus d'informations :
Mettre en évidence
Vers l'exascale : faire évoluer à grande échelle les flux de travail liés aux problèmes inverses basés sur l'IA sur plusieurs nœuds et GPU grâce à une API simple.
- Objectif de recherche : Développer des solveurs inverses à grande échelle basés sur l'IA ainsi que des tests de référence pour des applications telles que la tomodensitométrie, la cryo-microscopie électronique et la radioastronomie.
- Approche technique : Permettre l'entraînement de réseaux « unrolled » sur des données à grande échelle grâce à un calcul multi-nœuds et multi-GPU, en utilisant la physique distribuée, un débrouilleur, des a priori et des gradients rétroactifs, le tout via une API simple dans la bibliothèque DeepInv.
- Réalisation majeure : intégration réussie via une API simple dans la bibliothèque open source DeepInv, largement utilisée, et validation sur des problèmes de tomographie 3D à grande échelle (500³ voxels), jusqu’alors irréalisables pour la plupart des méthodes. Évaluation comparative réalisée dans le cadre du framework BenchOpt sur le jeu de données Jean Day à l'aide de 16 GPU H100 (10 s par échantillon).
- Impact de l'apprentissage à grande échelle : il lève une contrainte majeure et ouvre un nouveau domaine de recherche à des échelles réalistes.
- Accessibilité : Permet à une communauté plus large, au-delà des experts en calcul haute performance (HPC), d'accéder à l'apprentissage des problèmes inverses à grande échelle basé sur l'IA.
- Applications futures : Cette méthode peut être étendue à d'autres modèles et à des applications à grande échelle, notamment dans le domaine de l'électrotomographie à grande échelle et de la radio-interférométrie.
En haut : Courbes d'apprentissage illustrant le comportement de convergence de la méthode « unrolled » distribuée proposée. En bas : Comparaison qualitative des reconstructions, comprenant la référence (GT), la base de référence clairsemée, la sortie du réseau non entraîné et celle du réseau « unrolled » entraîné (3 itérations). Notre infrastructure à grande échelle permet un apprentissage efficace de cette architecture « unrolled » sur 16 GPU H100, ce qui rend possible le traitement de données tomographiques à haute résolution (500³ voxels).
En bref
Indicateurs de projet
Données au 1er juillet 2026, sauf indication contraire.
Réservez la date
Événements Exa-DI
Découvrez les prochains événements Exa-DI : nos séminaires et conférences, ainsi que les événements de nos partenaires.
aout, 2026
Nouvelles
Exa-DI dernières nouvelles
L'équipe
L'équipe Exa-DI
Découvrez les membres
Jean-Pierre Vilotte
Co-responsable du WP1
, directrice de recherche au CNRS etadjointe scientifique au pôle Terre et Espace du CNRS
Valérie Brenner
Co-responsable du WP2 · Chargé(e) de projet
, directrice de recherche au CEA, àla Maison de la Simulation (Mdls — CEA/CNRS/Université Paris-Saclay/Université Versailles Saint-Quentin)
Jérôme Bobin
Codirecteur de NumPEx
directeur de recherche CEA
Institut de recherche sur les lois fondamentales de l'univers (CEA Irfu)
Bruno Raffin
Co-responsable du WP3
, directrice de recherche à l'Inria, au sein del'équipe de recherche commune Inria Grenoble — DataMove (Inria, LIG — CNRS/Inria/Université Grenoble Alpes)
Julien Bigot
Co-responsable d'Exa-DoST
, chercheuse au CEA, àla Maison de la Simulation
Benoît Martin
Co-responsable du WP3 · chargé des relations avec Exa-DoST
, chercheuse au CEA, àla Maison de la Simulation (Mdls — CEA/CNRS/Université Paris-Saclay/Université Versailles Saint-Quentin)
Jérôme Charousset
Responsable de programme chez Exa-DI
, ingénieur de recherche au CEA,Institut de recherche sur les lois fondamentales de l'univers (CEA Irfu)
Ludovic Courtès
, ingénieur de recherche à l'Inria,Inria Bordeaux
Félix Kpadonou
, ingénieur de recherche au CEA,Institut de recherche sur les lois fondamentales de l'univers (CEA Irfu)
Benoît Malézieux
, chercheuse au CNRS àla Maison de la Simulation (Mdls — CEA/CNRS/Université Paris-Saclay/Université Versailles Saint-Quentin)
Aurélien Dauteuil
, ingénieur de recherche au CEA,Institut de recherche sur les lois fondamentales de l'univers (CEA Irfu)
Pierre Neyron
, ingénieur de recherche au CNRS,Laboratoire d'informatique de Grenoble (LIG)
Thomas Bouvier
, ingénieur de recherche au CEA,MdlS
Dinh-Triem Phan
, ingénieure de recherche au CNRS,MdlS
Alexandre Roget
, ingénieure de recherche au CNRS,MdlS
Sergio Pastor Perez
, ingénieur de recherche à l'Inria,Inria Bordeaux
Iole Bolognesi
, ingénieure de recherche au CNRS,MdlS
Vivien Krauss
, ingénieur de recherche au CNRS,Inria Bordeaux
Romain Margheriti
, ingénieur de recherche au CEA,Institut de recherche sur les lois fondamentales de l'univers (CEA Irfu)
Responsables des groupes de travail
Nous contacter
Restez en contact avec Exa-DI
Laissez-nous un message, nous vous contacterons dans les plus brefs délais.