Exa-AToW : Architectures et outils pour les flux de travail à grande échelle

Projet ciblé

Présentation générale

Les flux de travail scientifiques inter-installations permettent d’exploiter plusieurs installations réparties sur l’ensemble du continuum numérique (par exemple, les centres de données, les centres de calcul haute performance) au sein de séquences de traitement unifiées. Cependant, la mise en place d’une plateforme opérationnelle de flux de travail inter-installations se heurte à de nombreux obstacles, tels que la cybersécurité, la gouvernance des systèmes hétérogènes et la représentation abstraite du continuum, entre autres.

Il s’agit là d’un problème classique de « système collaboratif de systèmes », dans lequel les considérations politiques et techniques doivent s’aligner pour fournir les capacités requises. Ce défi n’est pas nouveau et, malgré de fortes incitations à fournir aux scientifiques des outils de flux de travail simples — ainsi que les nombreuses technologies disponibles (largement portées par la communauté du cloud) —, il n’a pas encore été pleinement relevé. Les contraintes opérationnelles strictes des supercalculateurs du GENCI rendent ce défi particulièrement difficile.

Le projet Exa-AToW relève ce défi lié à la collaboration entre systèmes grâce à une approche véritablement collaborative, qui rassemble les centres de supercalcul français, les communautés scientifiques (radioastronomie, sciences de la Terre, physique des hautes énergies, science des matériaux) et l’expertise en informatique.

Partenaires et organisation

Consortium et lots de travail

Partenaires

Irisa

Université de Rennes

François Bodin, Mark Asch

OSU Pythéas

CNRS

Didier Mallarino

Idris

CNRS

Guillaume Harry

Laboratoire de modélisation et d'exploration des matériaux

CEA

Thierry Deutsch

GAL

Inria

Olivier Richard

Lot de travaux

WP1

Architecture globale et gouvernance de la fédération

Université de Rennes (chef de file)

WP2

Cybersécurité

Idris, responsable

WP3

Outils d'aide à la gestion, au suivi et à la reproductibilité des flux de travail

Responsable de la CEA

WP4

Logistique des données et cycle de vie des données

Université de Rennes (chef de file)

WP5

Outils système pour l'allocation des ressources, la fédération et le déploiement

Responsable à l'Inria

WP6

Durabilité énergétique et environnementale

Responsable de l'OSU Pythéas

WP7

Manifestants et coordination avec les autres PC de Numpex

Université de Rennes (chef de file)

Résultats obtenus à ce jour

Résultats et impact

À ce jour, Exa-AToW a fourni des preuves de concept pour une application HPC en tant que service, une « ombre numérique » représentant le continuum, les ontologies associées, ainsi qu’une bibliothèque de calcul d’impact environnemental. Ces développements ont été motivés par des applications scientifiques concrètes telles que DDF (radioastronomie) et openQCD (physique des hautes énergies), entre autres. Des outils tels que « remotemanager », qui permet d’utiliser des supercalculateurs via des notebooks Jupyter, ont également été mis à disposition.

Tout en poursuivant ces efforts, Exa-AToW explore désormais les technologies d’IA agentique afin de faciliter la conception et la mise en œuvre de flux de travail inter-établissements.