Poste de doctorat sur l'ordonnancement des tâches et le retour d'information tenant compte de la consommation d'énergie
Poste de doctorat sur l'ordonnancement des tâches et le retour d'information tenant compte de la consommation d'énergie
Georges Da Costa et Patricia Stolf sont à la recherche de leur prochain doctorant.
Contexte
Lancé en 2023 pour une durée de 6 ans, The NumPEx PEPR a pour objectif de contribuer à la conception et au développement de méthodes numériques et de composants logiciels qui équiperont les futures machines européennes Exascale et post-Exascale. NumPEx vise également à aider les applications scientifiques et industrielles à exploiter pleinement leur potentiel.
Le projet ExaSoft vise à consolider l’écosystème européen des logiciels Exascale en fournissant une pile logicielle cohérente, prête pour l’Exascale, permettant aux applications HPC d’exploiter efficacement les supercalculateurs hétérogènes dotés de nœuds de calcul fortement accélérés. Le projet permettra de réaliser des avancées décisives dans les domaines des langages et modèles de programmation, de l’optimisation des codes, des systèmes d’exécution, du profilage et de l’analyse des performances, ainsi que des bibliothèques numériques, afin de relever les principaux défis scientifiques.
La mission
L’utilisation de l’informatique de haute performance se développe, des études climatiques à la recherche chimique. L’impact accru de ces calculs ouvre le champ de la recherche sur la manière de gérer et de réduire leur consommation d’énergie. Le doctorat s’inscrit dans le cadre du projet NumPEx, qui vise à développer des compétences et des infrastructures de pointe dans le domaine du calcul exascale. L’un des piliers du projet NumPEx consiste à rendre le calcul exascale durable.
Les systèmes HPC (High Performance Computing) sont généralement gérés par des systèmes RJMS (Resource and Job Management System) qui décident quand et sur quel serveur exécuter les applications soumises par les utilisateurs. Ce RJMS est crucial car sa qualité a un impact direct sur les performances de l’ensemble de l’infrastructure. Habituellement, cette performance est mesurée par le nombre de tâches terminées chaque jour ou par le temps d’exécution. Dans notre contexte, nous allons également optimiser l’impact CO2 de ces tâches (en planifiant les tâches lorsque l’empreinte carbone est minimale par exemple). Nous tirerons également parti de la capacité des applications à fonctionner sur un nombre différent de serveurs pour optimiser nos mesures.
Les infrastructures HPC sont des supercalculateurs exascales avec surveillance de l’utilisation des ressources et de l’énergie consommée.
Les applications HPC sont généralement décrites par un DAG (Directed Acyclic Graph) de tâches. Un autre avantage est que les différentes tâches ont un impact différent sur la consommation d’énergie et de ressources. Il est plus efficace d’exécuter des applications consommant moins d’énergie lorsque l’énergie produit beaucoup de CO2.
Les commentaires des utilisateurs (mesures montrant l’impact de la demande d’exécution) sont de plus en plus nécessaires pour assurer la durabilité de ces plateformes.
Le doctorant se concentrera sur l’étude de l’ordonnancement énergétique des applications HPC.
Principales activités
Les objectifs du doctorat sont les suivants :
- Programmation multi-objectifs des tâches (énergie, temps) avec comme données d’entrée une prévision du mix énergétique, de l’énergie renouvelable disponible, du prix de l’énergie.
- Utilisation des prédictions de l’IA pour la consommation de l’application. Ces prédictions seront utilisées par les algorithmes d’ordonnancement pour optimiser l’efficacité de la plateforme (cf. https://hal.science/hal-04566184/document).
- Évaluer l’impact des différents leviers (capacité à adapter les ressources requises par les applications comme dans https://hal.science/hal-02964970, hétérogénéité des exigences des différentes applications, hétérogénéité des ressources (CPU/GPU)…).
- Proposer différents retours d’expérience d’utilisateurs comme dans https://www.sciencedirect.com/science/article/pii/S0167739X24000219
- Expériences utilisant l’infrastructure HPC réelle (à l’aide du système de gestion des ressources et des tâches de l’OAR, RJMS)
La structure de la thèse sera la suivante :
- État de l’art en matière d’ordonnancement HPC
- Proposer un ordonnancement multi-objectifs des tâches (énergie, temps)
- Expériences pour valider les algorithmes et les comparer à l’état de l’art
- Un démonstrateur utilisant OAR et les algorithmes d’ordonnancement proposés pour réduire la consommation d’énergie des plateformes HPC
Des logiciels de surveillance seront utilisés (tels que MojitO/S) au cours de la thèse, et certaines contributions pourraient y être apportées. Une plateforme d’expérimentation à grande échelle sera utilisée (Grid’5000).
A la fin du doctorat, l’étudiant aura acquis les compétences suivantes : travail scientifique et expérimentations, expertise en HPC et informatique durable, planification de projets à long terme, rédaction scientifique.
S’il le souhaite, l’étudiant aura la possibilité d’enseigner en anglais ou en français.
Compétences requises
Les candidats doivent être titulaires d’un master en informatique. Un goût pour les approches expérimentales, la programmation en C ou Rust, l’analyse de données en Python ou R est apprécié.
Langue : Anglais. Des notions de français sont un plus.