Vous trouverez ici toutes les informations sur Exa-SofT.
Les bibliothèques d’algèbre linéaire sont au cœur du calcul scientifique et de l’intelligence artificielle. En repensant leur exécution sur des architectures hybrides CPU/GPU, de nouveaux modèles basés sur des tâches permettent des gains significatifs en termes de performance, de portabilité et d’utilisation des ressources.
Les bibliothèques de résolution ou de manipulation de systèmes linéaires sont utilisées dans de nombreux domaines de la simulation numérique (aéronautique, énergie, matériaux) et de l’intelligence artificielle (apprentissage). Nous cherchons à rendre ces bibliothèques aussi rapides que possible sur des supercalculateurs combinant des processeurs traditionnels et des accélérateurs graphiques (GPU). Pour ce faire, nous utilisons des modèles d’exécution asynchrones basés sur des tâches qui maximisent l’utilisation des unités de calcul.
Il s’agit d’un domaine de recherche actif, mais la plupart des approches existantes sont confrontées au problème difficile de la division du travail dans la « bonne granularité » pour les unités de calcul hétérogènes. Au cours des derniers mois, nous avons développé plusieurs extensions à un modèle de programmation parallèle basé sur les tâches, appelé STF (Sequential Task Flow), qui permet de mettre en œuvre des algorithmes complexes d’une manière beaucoup plus élégante, concise et portable. En combinant ce modèle avec des techniques de partitionnement dynamique et récursif du travail, nous augmentons significativement les performances sur les supercalculateurs équipés d’accélérateurs tels que les GPU, notamment grâce à la possibilité d’adapter dynamiquement la granularité des calculs en fonction de l’occupation des unités de calcul. Par exemple, grâce à cette approche, nous avons obtenu une accélération de 2x par rapport à d’autres bibliothèques de pointe (MAGMA, Parsec) sur un ordinateur hybride CPU/GPU.
Les opérations d’algèbre linéaire sont souvent les étapes les plus coûteuses dans de nombreuses applications de calcul scientifique, d’analyse de données et d’apprentissage profond. Par conséquent, toute amélioration des performances des bibliothèques d’algèbre linéaire peut potentiellement avoir un impact significatif pour de nombreux utilisateurs de ressources informatiques à haute performance.
Les extensions proposées au modèle STF sont génériques et peuvent également bénéficier à de nombreux codes de calcul au-delà du champ d’application de l’algèbre linéaire.
Au cours de la prochaine période, nous souhaitons étudier l’application de cette approche aux algorithmes d’algèbre linéaire pour les matrices peu denses ainsi qu’aux algorithmes d’algèbre multi-linéaire (calculs tensoriels).
L’adaptation de la granularité permet d’assigner les petites tâches aux CPU, qui ne les occuperont pas trop longtemps, évitant ainsi des retards pour le reste de la machine, tout en continuant d’assigner les grandes tâches aux GPU afin qu’ils restent efficaces.
Figure : L’ajustement de la taille du grain permet d’assigner des tâches plus petites aux CPU, qui ne prendront pas trop de leur temps, évitant ainsi des retards pour le reste de la machine, tout en continuant d’assigner des tâches plus importantes aux GPU afin qu’ils restent efficaces.
PEPR NumPEx
