Le retour de la course aux supercalculateurs entre les États-Unis, la Chine et l'Europe.
À l’ère de la miniaturisation électronique, les supercalculateurs font leur retour, portés par l’essor de l’intelligence artificielle. Une bataille stratégique se déroule entre les grandes puissances.
Alors qu’on les croyait obsolètes, les superordinateurs reprennent du service. Aujourd’hui, elles bénéficient d’un marché mondial florissant, grâce à l’exploitation de l’or noir du XXIe siècle : les données pour l’intelligence artificielle (IA). Elles sont même devenues une question de souveraineté, à tel point que les États-Unis, dans leur guerre commerciale avec la Chine, vont jusqu’à refuser à leur rival asiatique les microprocesseurs destinés à ces machines. En Europe, les survivants émergent, à commencer par l’Etat français qui suit de près les négociations autour du démantèlement du groupe Atos. Dans sa filiale Eviden, il y a en effet un joyau à chérir, parmi les rares qui subsistent en Europe : les supercalculateurs issus de l’acquisition de Bull en 2013. Une nouvelle usine devrait même être construite à Angers d’ici 2027.
Ces mastodontes sont appelés à développer plus rapidement des médicaments et des vaccins, notamment contre le Covid-19, à affiner les prévisions météorologiques face au changement climatique, à améliorer l’aérodynamisme des avions et autres véhicules pour consommer moins d’énergie, à lutter contre des cyberattaques de plus en plus redoutables, ou encore à simuler une explosion nucléaire au nom de la dissuasion. L’apprentissage automatique et l’informatique quantique (calculs massifs et simultanés à l’échelle atomique) en ont besoin.
Longtemps cantonnée à la recherche académique ou à la simulation industrielle et nucléaire (défense), la lignée des supercalculateurs se renforce avec l’intelligence artificielle. « Les modèles d’IA à grande échelle se développent très rapidement et les nouveaux acheteurs commencent à utiliser des machines de grande capacité, avec des prix de vente allant de dizaines de millions à des centaines de millions de dollars chacune. La lutte contre les cyberattaques nécessitera également une puissance de calcul importante », prédit Earl Joseph, PDG d’Hyperion Research, une société de recherche américaine spécialisée dans le marché mondial du HPC (High Performance Computing). Car plus les ordinateurs sont puissants, plus ils sont chers.
NumPEx BOF@SC23
La conférence internationale pour l'informatique de haute performance, la mise en réseau, le stockage et l'analyse SuperComputing 2023 aura lieu à Denver du 12 au 17 novembre 2023.
Au cours de cette conférence, un "Bird of a Feather" (BoF) lié au programme NumPEx est prévu, permettant aux participants à la conférence de discuter ouvertement de sujets d'actualité intéressant la communauté HPC.
Plusieurs initiatives (trans-)nationales ont reconnu l'importance cruciale de la co-conception entre les parties prenantes du matériel, des logiciels et des applications sur la voie de l'Exascale et au-delà. Il est considéré comme indispensable pour l'exploitation efficace des ressources informatiques Exascale dans le développement de démonstrateurs d'applications à grande échelle, mais aussi pour préparer des applications complexes à exploiter pleinement la capacité des systèmes Exascale et post-Exascale. Parmi ces projets, on peut citer le projet français NumPEX (41M€) mais aussi le programme EuroHPC, ou encore le projet ECP aux Etats-Unis et le projet FugakuNEXT au Japon. Cependant, ces efforts sont quelque peu déconnectés alors que la communauté gagnerait à partager le retour d'expérience, le savoir-faire commun et à progresser sur les nouveaux problèmes qui se posent à mesure que les machines exascales deviennent de plus en plus disponibles.
En nous appuyant sur les efforts antérieurs de l'International Exascale Software Project (IESP), de l'European EXtreme Data and Computing Initiative (EXDCI) et de la communauté BDEC, nous travaillerons à la mise en œuvre d'un environnement informatique international, partagé et de haute qualité qui se concentre sur les principes et les pratiques de la co-conception. Les partenaires américains, européens et japonais se sont déjà rencontrés et ont identifié une série de domaines pour la coordination internationale (entre autres) :
- Production et gestion de logiciels : packaging, documentation, builds, résultats, catalogues, intégration continue, conteneurisation, LLVM, outils parallèles, etc.
- Durabilité des logiciels
- Technologies et usages futurs et perturbateurs de la santé et de la sécurité au travail (investissements et feuilles de route)
- Recensement des capacités manquantes (à la fois pour les applications et les logiciels)
- Feuille de route des objectifs à court terme en matière de santé publique
- Convergence HPC/AI : ML, modèles ouverts et ensembles de données pour l'entraînement à l'IA,
- Gestion des données FAIR
- Continuum numérique et gestion des données
- Benchmarks et évaluation, co-conception (HW, SW, applications)
- Impact énergétique et environnemental et durabilité
- Usine de collaboration/partenariat : établir des collaborations au niveau international
- Formation
Le BOF proposé offrira une vue d'ensemble des différents programmes et initiatives Exascale du point de vue de la co-conception (mélangeant l'application, la pile logicielle et la perspective matérielle). Ensuite, des partenaires internationaux représentant les principaux centres de calcul d'Europe, des États-Unis et du Japon exposeront et discuteront des problèmes et questions communs.
Les responsables du BoF solliciteront l'avis des participants sur les objectifs de la co-conception et sur l'exploitation et la coordination efficaces des efforts existants en Europe, aux États-Unis et au Japon, consacrés à l'exascale. Les participants au forum seront invités à partager leurs points de vue sur les problèmes et questions susmentionnés. Nous discuterons également des candidats aux démonstrateurs d'applications collaboratives, dont le projet LHC du CERN, les modèles climatiques du GIEC et le projet SKA sont quelques exemples représentatifs. Enfin, nous ferons appel aux contributions des participants.
Lors du BoF, un panel d'experts de NumPEx, ECP, Riken-CC, BSC, JSC et des communautés d'application sélectionnées, soulèvera des questions et sollicitera des contributions dans chacun de leurs domaines respectifs. Les représentants de toutes les agences de financement concernées seront invités à participer et à contribuer.
Le but ultime de ce BOF est de lancer une nouvelle série d'ateliers consacrés aux collaborations internationales entre l'Europe, les États-Unis et le Japon sur le calcul Exascale et post-Exascale.
NumPEx se lance dans l'action avec un programme ambitieux à Perros-Guirrec
Au cours d'une série de sessions dynamiques organisées du26 au28 juin dans la charmante ville de Perros-Guirrec, NumPEx s'est lancé dans un événement de lancement intensif, préparant le terrain pour un voyage transformateur dans le domaine du calcul Exascale. Dirigeants, experts et collaborateurs se sont réunis pour se pencher sur un programme riche en enseignements.tions, des ateliers et des initiatives de collaborainitiatives de collaborations.
Le coup d'envoi a commencé par une introduction détaillée, soulignant les objectifs et l'importance du programme NumPEx, qui vise à établir une vision commune et à encourager la collaboration pour mettre en œuvre une pile logicielle cohérente et les processus connexes d'ici 2025, au bénéfice non seulement de la France mais aussi de l'Europe, en préparation de la machine Exascale. Des personnalités telles que Jérôme Bobin, Michel Dayde et Jean-Yves Berthou ont expliqué les objectifs et la structure organisationnelle du programme. Les membres du conseil d'administration ont partagé leurs points de vue sur la vision et les feuilles de route Exascale :
Vision et feuille de route Exascale de GENCI :
- Présentation du rôle et des missions de GENCI, y compris l'hébergement du projet Exascale pour EuroHPC.
- Partenariat avec EuroHPC et d'autres acteurs dans le cadre de l'initiative européenne en matière de calcul intensif, en s'appuyant sur PRACE et GEANT.
- Présentation du consortium Jules Verne, mettant en avant les partenariats internationaux et industriels.
- Vision de la machine européenne Exascale : relever les défis sociétaux, encourager l'innovation et mettre l'accent sur la convergence HPC/IA centrée sur les données.
- Plans de collaboration avec NumPEx, y compris l'élaboration d'un programme fonctionnel, le développement de références et la promotion du produit.
Vision et feuille de route Eviden Exascale :
- L'approche complexe d'Eviden implique des technologies HPC, HPDA, IA et quantiques, avec un accent sur les composantes souveraines et européennes.
- Participation au processeur intégré européen pour les machines Exascale (SiPearl) et collaboration à divers projets technologiques.
- Collaboration avec le CEPP pour le soutien des applications et la participation à des projets technologiques liés à Exascale, à la quantique, à l'informatique en nuage, etc.
Écosystème national et européen :
- Introduction d'EUPEX, un projet de 4 ans avec un budget similaire à NumPEx, visant à déployer un système modulaire Exascale en utilisant l'architecture OpenSequana.
- Collaboration avec NumPEx, possibilité de partager des expériences et des résultats, et exploration d'une diffusion commune.
- Présentation de Data Direct Network (DDN) avec un accent sur l'IA et le système de fichiers parallèles Lustre, soulignant les défis et l'importance de comprendre les applications NumPEx.
L'après-midi s'est poursuivie par une visite des cinq projets (PC) du programme NumPEx :
- Exa-MA, qui vise à concevoir des algorithmes et des méthodes numériques évolutifs pour les prochaines machines exascales. Dirigé par Christophe Prudhomme (Université de Strasbourg) et Hélène Barucq (Inria).
- Exa-Soft, pour développer une pile logicielle cohérente, portable, efficace et résistante pour l'exascale. Dirigé par Raymond Namyst (Inria) et Alfredo Buttari (CNRS - Centre national de la recherche scientifique).
- Exa-DoST, pour relever les défis liés aux données, notamment le stockage, les E/S, le traitement in situ et l'analyse intelligente, dans les superordinateurs exascales. Dirigé par Gabriel Antoniu (Inria) et Julien Bigot (CEA).
- Exa-ATOW, pour traiter les flux de travail à grande échelle impliquant des machines exascales. Dirigé par François Bodin (Université de Rennes), Mark Asch (Université de Picardie Jules Verne (UPJV)), et Thierry Deutsch (CEA).
- Exa-DI, pour assurer la co-conception transversale et la productivité des logiciels pour les supercalculateurs exascales. Dirigé par Jean-Pierre Vilotte (CNRS) et Valérie Brenner (CEA).
La journée s'est terminée en mettant l'accent sur les efforts de collaboration entre NumPEx et d'autres initiatives, notamment en ce qui concerne le développement d'étalons, les liens entre les logiciels et le matériel, et l'objectif global de se préparer aux défis de l'ère Exascale.
La deuxième journée a débuté par un jogging matinal revigorant le long du bord de mer, donnant un ton dynamique à une journée remplie d'ateliers thématiques. Les participants ont participé à des discussions ciblées sur les synergies énergétiques, l'intégration du GPU, les applications, la coconception, le genre, la diversité et l'équité, l'intégration de la production de logiciels, la formation, la résilience, les collaborations internationales et l'intelligence artificielle. Des ateliers thématiques, animés par des experts du domaine, ont favorisé la collaboration au sein de groupes plus restreints, soulignant l'engagement du programme en faveur d'une approche transversale des défis de l'Exascale.
Le dernier jour a commencé par une synthèse des résultats de l'atelier, soulignant la profondeur des discussions dans chaque domaine thématique. Les animateurs des ateliers ont consolidé leurs connaissances, offrant une vue panoramique des défis et des opportunités. Voici un aperçu des principales idées et actions stratégiques discutées lors de ces ateliers :
Atelier sur les accélérateurs de GPU
Lors d'un atelier consacré aux accélérateurs de GPU, les experts ont souligné le rôle essentiel des unités de traitement graphique (GPU) dans la réalisation d'un calcul à grande échelle. Étant donné que 90 à 99 % des performances des grandes machines sont attribuées à l'accélération des GPU, l'atelier a mis en évidence la nécessité pour les applications d'explorer le potentiel de ces puissants processeurs. Parmi les défis abordés figurent les nouveaux paradigmes de programmation, la portabilité du code, la gestion des données et le paysage matériel induit par les jeux et l'intelligence artificielle. L'atelier a présenté un plan complet, comprenant des ateliers futurs, des documents d'analyse, des tutoriels, des hackathons et des exemples de mini-applications portées avec succès.
Atelier sur l'énergie
L'atelier sur l'énergie s'est concentré sur la réalisation d'un calcul Exascale dans une limite de consommation d'énergie de 20 MW. Les experts se sont penchés sur les dimensions environnementales, scientifiques, techniques et sociétales, fournissant une feuille de route pour la communauté HPC. Les principaux défis identifiés sont la modélisation de la consommation des systèmes, les outils de mesure en temps réel, la hiérarchisation des ressources en fonction de l'impact sociétal et l'impact environnemental plus large des activités de recherche. Le plan d'action prévoit l'élaboration d'un modèle de performance et de consommation, de stratégies d'optimisation, d'outils pour les utilisateurs et le développement de liens avec des entités externes afin d'intégrer des considérations énergétiques.
Séminaire sur l'équité entre les sexes et la diversité
Le plan d'action comprend l'établissement d'un code de conduite, l'évaluation de la répartition des sexes, la création d'une plateforme web pour les ressources, des initiatives d'éducation et de formation, des programmes de sensibilisation et de vulgarisation, ainsi qu'un engagement en faveur de l'accessibilité et de la reconnaissance. NumPEx vise à créer un avenir inclusif et collaboratif, en invitant toutes les parties prenantes à contribuer aux initiatives.
Atelier sur l'IA
L'atelier sur l'IA a exploré l'intersection critique du calcul intensif et de l'IA, en abordant les défis et en esquissant un plan stratégique pour une exploration collaborative. Les principales discussions ont porté sur les outils d'aide à la décision pour les applications d'IA dans le domaine du calcul intensif, l'optimisation des temps d'exécution des modèles d'IA et la convergence des utilisations du calcul intensif et de l'IA. Le plan d'action prévoit la création d'un groupe de travail sur l'IA, l'organisation d'ateliers transversaux et l'élaboration d'éléments fondamentaux pour un avenir convergent.
Atelier sur les stratégies de formation
L'atelier sur les stratégies de formation a abordé les complexités de la formation dans le contexte de l'ère exascale qui s'annonce. Les discussions ont porté sur la portée et les sujets des programmes de formation, la création de modèles de formation durables et les considérations économiques dans les initiatives de formation. L'atelier a mis l'accent sur des initiatives de formation collaboratives et inclusives afin de préparer la communauté scientifique aux défis et aux opportunités de l'informatique exascale.
Atelier sur les collaborations internationales
L'atelier sur les collaborations internationales s'est concentré sur l'identification des défis et la définition d'objectifs pour des cadres de collaboration renforcés à l'échelle européenne et mondiale. Les discussions ont porté sur les défis scientifiques et technologiques, la conception et le développement de la pile logicielle exascale et les plans d'action stratégiques. La feuille de route esquissée comprend l'organisation d'ateliers, l'échange d'idées et d'expériences et le renforcement des collaborations avec des entités internationales.
Atelier d'intégration des centres nationaux
L'atelier d'intégration des centres nationaux visait à aligner NumPEx sur les infrastructures HPC, en mettant l'accent sur les éléments opérationnels entre les centres de calcul et les projets ciblés par NumPEx. Les discussions ont porté sur l'évaluation opérationnelle, la cybersécurité, le profilage professionnel et la traçabilité. L'atelier a établi un plan de vidéoconférences régulières, garantissant une communication et une collaboration continues.
Atelier de production de logiciels
L'atelier sur la production de logiciels s'est concentré sur la rationalisation des pratiques de développement de logiciels dans le domaine du calcul intensif. Parmi les défis abordés, citons la réduction des cloisonnements, l'application des bonnes pratiques et l'amplification de l'impact. Les idées et les conclusions ont mis en évidence les diverses pratiques de développement, les modèles de durabilité et le déploiement de l'intégration continue et de la certification. L'engagement de NumPEx à faire progresser les pratiques de production de logiciels vise à favoriser l'innovation, la collaboration et le développement durable dans le domaine du calcul intensif.
Atelier sur la résilience Exascale
L'atelier "Exascale Resilience Workshop" a permis d'aborder les complexités liées au déploiement d'applications exascales. Les discussions ont porté sur les différentes approches des PC NumPEx, les principaux défis et les choix stratégiques. Le plan d'action comprend l'énumération et l'analyse des besoins en matière d'applications, l'analyse des obstacles à l'adoption par les bibliothèques et l'examen minutieux des solutions internationales. NumPEx vise à encourager les solutions collaboratives pour améliorer la résilience des applications à l'échelle mondiale.
Applications et atelier de co-conception
L'atelier sur les applications et la co-conception a encouragé les stratégies de co-développement pour le développement d'applications avancées. Les discussions ont porté sur les défis de la co-conception, les questions clés pour l'exploration collective, l'établissement de liens et les initiatives de durabilité. L'atelier a préparé le terrain pour les prochains ateliers sur les projets de codéveloppement, en mettant l'accent sur la collaboration et l'innovation.
Alors que les dirigeants font leurs adieux à Perros-Guirrec, NumPEx se prépare à transformer les visions et les idées partagées en actions tangibles dans le domaine du calcul Exascale. Le coup d'envoi a marqué le début d'une collaboration et NumPEx est prêt à prendre la tête de l'innovation scientifique.
Pour connaître les dernières mises à jour et l'état d'avancement du programme NumPEx, consultez notre section "Actualités". Le voyage vers Exascale a commencé, et NumPEx est à l'avant-garde de cette expédition pionnière.
