OpenMP 5.0 est disponible, l'API pour la programmation parallèle
Améliore le support des accélérateurs, le débogage et l'analyse des performances

Le , par Michael Guilloux, Chroniqueur Actualités
Le but d'un programme est d'exécuter une tâche, et pour cela, on donne à l'ordinateur une liste d'instructions qu'il va effectuer en général les unes après les autres. Lorsque l'ordinateur a fini de traiter une instruction, il exécute la suivante. Mais il y a aussi une autre manière de le faire. On peut, pour gagner du temps, découper la tâche en un ensemble de petites tâches qui seront exécutées en même temps : on peut donc parler de programmation parallèle. Elle tire parti du fait que les processeurs récents sont dotés de plusieurs cœurs. Cette augmentation du nombre de cœurs nécessite de nouvelles habitudes de programmation pour profiter de ces ressources, sachant qu'un programme non adapté n'utilise qu'un seul des cœurs.

Ce besoin d'exploiter la puissance de calcul offerte par plusieurs cœurs a donc propulsé la programmation parallèle. Et quand on parle de programmation parallèle aujourd'hui, on pense de plus en plus à OpenMP. Il s’agit d’une interface de programmation pour le calcul parallèle sur architecture à mémoire partagée. Cette API est prise en charge par de nombreuses plateformes, incluant GNU/Linux, macOS et Windows, pour les langages de programmation C, C++ et Fortran. OpenMP se présente sous la forme d'un ensemble de directives, d'une bibliothèque logicielle et de variables d'environnement. Précisons également que l'API OpenMP est utilisée dans un grand nombre de domaines, y compris la physique, les simulations automobiles et aéronautiques, la biotechnologie, l'automatisation et la robotique, l'analyse financière, etc.

La dernière version stable en date de l'API est la 4.5. Mais comme on s'y attendait, l'OpenMP Architecture Review Board (ARB) a annoncé hier la version 5.0 d'OpenMP, une mise à niveau majeure de la spécification. La communauté OpenMP a fait de nombreuses requêtes depuis l’introduction de la version 4.5 en 2015, ce qui permet à OpenMP 5.0 d'ajouter de nombreuses nouvelles fonctionnalités qui seront utiles pour les applications hautement parallèles et complexes.


En résumé, OpenMP 5.0 offre un support complet des accélérateurs, y compris les mécanismes exigeant une mémoire partagée unifiée entre le système hôte et les coprocesseurs, la possibilité d'utiliser des implémentations de fonctions spécifiques à chaque périphérique et un meilleur contrôle des mappages de données implicites, entre autres.

Cette version améliore également le débogage et de l'analyse des performances, grâce à deux nouvelles interfaces d’outil. On notera en outre la prise en charge des dernières versions de C, C++ et Fortran. OpenMP 5.0 supporte en effet des fonctionnalités importantes de Fortran 2008, C11 et C++17. Entre autres nouveautés, la nouvelle version de l'API pour la programmation parallèle améliore aussi la portabilité et la convivialité.

La version 5.0 de la spécification OpenMP a été développée conjointement par OpenMP ARB - qui réunit des fournisseurs majeurs de matériel informatique et de logiciels - ainsi que par des utilisateurs de la communauté OpenMP. Les principaux fournisseurs ont implémenté des parties de la spécification OpenMP 5.0 dans leurs produits. Le projet GNU est le plus avancé dans la mise en œuvre de GCC et prévoit d’avoir plusieurs fonctionnalités dans la prochaine version de GCC, à savoir GCC 9. Bon nombre outils de débogage et de performance des fournisseurs seraient également étendus avec les fonctionnalités d'OpenMP 5.0.

Source : OpenMP

Et vous ?

Qu'en pensez-vous ?

Voir aussi :

OpenMP 5.0 est prévu pour novembre 2018, avec l'ajout d'interfaces pour le débogage et l'analyse poussée de la performance
La bibliothèque de déchargement d'exécution OpenMP de LLVM ne sera plus développée, liboffload sera remplacée par libomptarget
Sortie de GCC 7.1, le compilateur libre peut décharger du code OpenMP sur la plateforme AMD HSA et sur les cartes graphiques NVIDIA
DawnCC parallélise automatiquement des programmes avec OpenMP et OpenACC, en limitant les quantités de données transférées
Sortie de GCC 6.1 : cette version du système de compilation libre arrive avec C++14 activé par défaut et l'implémentation complète de OpenMP 4.5


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse Signaler un problème

Avatar de Madmac Madmac - Membre éclairé https://www.developpez.com
le 10/11/2018 à 0:51
À mon avis, le besoin pour les recherches dans ce domaine est nettement plus criant que pour la IA. Avec la surenchère de CPU multicœur, si rend n'est fait la production va atteindre un mur rapidement. Faute de pouvoir se traduire en gains de performance.

Citation Envoyé par Matthieu76 Voir le message
Et c'est beaucoup utilisé ? Es-ce vraiment avantageux ? Désolé de poser tous ces questions mais je ne connais pas du tout alors que ça ressemble une solution miracle :
On met une instruction pré-processeur devant toutes les boucles for et paf le code et beaucoup plus rapide !
Genre dans ma library de réseaux de neurones ça serait bien pour paralléliser le travail sur une couche ?

Si c'est si bien que ça pourquoi n'en ai-je jamais entendu parler ?
Pour commencer, il faudrait que les programmeurs abandonnent l'usage des For, while et Until quand ils travaillent sur des tableaux. Les opérations sur les tableaux son généralement "parallélisables" et un opérateur comme each en Ruby n'est utilisable que pour des listes et tableaux. Par contre for while et until peuvent servir également pour la saisie du clavier.

En somme, il faudrait repenser les langages afin de pourvoir signaler au compilateur la possibilité de faire des opérations en parallèle.

Citation Envoyé par Matthieu76 Voir le message
J'ai testé OpenMP 2.0 mais pourtant je ne gagne absolument rien en performance, exactement le même temp de calcul.

Code : Sélectionner tout
1
2
3
4
5
#pragma omp parallel for num_threads(7)
for (int n = 0; n < numberOfNeurons; ++n)
{
    // ...
}
Pourtant cela fonction car avec ce #pragma je vois les 8 cœurs de mon pc tourner à 100% au lieu d'un seul en temps normal, extrêmement bizarre. Va falloir que j’investigue....
Rien de bizarre, Tu as assisté à ce qui est défini par le terme "Von Newman bottleneck", concept qui énonce que la vitesse d'un système est toujours limité par l'élément le plus lent de l'ensemble. Et dans le cas présent, c'est ton bus mémoire et ta mémoire vive qui est le maillon faible de ce système. La seule solution imparfaite est l'usage de mémoire-cache. Et encore là, les langages de programmation sont le problème.

Par exemple, pendant l'utilisation et la traversé d'un tableau, la portion de code qui est appliqué (la fonction) pourrait n'être lu qu'une seule fois pour être conservé dans la mémoire-cache.

Premier avantage. puisque la mémoire cache est comme un deuxième bus, le bus mémoire est libre pour un autre coeur
Deuxièmement pendant la lecture de cette fonction depuis la mémoire-cache, cela laisse la possibilité de lire simultanément le prochain élément du tableau.
Avatar de redcurve redcurve - Membre averti https://www.developpez.com
le 10/11/2018 à 2:44
Citation Envoyé par Madmac Voir le message
Pour commencer, il faudrait que les programmeurs abandonnent l'usage des For, while et Until quand ils travaillent sur des tableaux. Les opérations sur les tableaux son généralement "parallélisables" et un opérateur comme each en Ruby n'est utilisable que pour des listes et tableaux. Par contre for while et until peuvent servir également pour la saisie du clavier.

En somme, il faudrait repenser les langages afin de pourvoir signaler au compilateur la possibilité de faire des opérations en parallèle.
Sur .net on peut utiliser Parallel.ForEach pour faire des boucles parallèles vu que parcourir un tableau est cpu bound. Ou même utiliser un Span<T> ou un Memory<T> comme représentation d'un tableau, pour effectuer des opérations en // sans jamais avoir à effectuer de nouvelles allocations ce qui est bien pratique et très puissant.
Avatar de SimonDecoline SimonDecoline - Membre expérimenté https://www.developpez.com
le 10/11/2018 à 18:20
Citation Envoyé par Madmac Voir le message
À mon avis, le besoin pour les recherches dans ce domaine est nettement plus criant que pour la IA. Avec la surenchère de CPU multicœur, si rend n'est fait la production va atteindre un mur rapidement. Faute de pouvoir se traduire en gains de performance.
OpenMP traite justement ce genre de problèmes. Ca existe depuis 20 ans et c'est disponible dans quasiment tous les compilateurs C/C++/Fortran mainstream depuis au moins 10 ans.

OpenMP est utilisé dans de nombreuses bibliothèques scientifiques, notamment d'IA :
https://github.com/tensorflow/tensor...Lists.txt#L212
https://github.com/Microsoft/CNTK/bl...mmon.cmake#L72
https://github.com/apache/incubator-...Lists.txt#L387
Avatar de Madmac Madmac - Membre éclairé https://www.developpez.com
le 11/11/2018 à 18:04
Citation Envoyé par redcurve Voir le message
Sur .net on peut utiliser Parallel.ForEach pour faire des boucles parallèles vu que parcourir un tableau est cpu bound. Ou même utiliser un Span<T> ou un Memory<T> comme représentation d'un tableau, pour effectuer des opérations en // sans jamais avoir à effectuer de nouvelles allocations ce qui est bien pratique et très puissant.
Je te l'accorde. Mais puisqu’ils se roulent dans l'argent, depuis les année 70. Avoir réussi a produire un seul langage acceptable ( inspiré de Java ), cela reste pathétique.

Citation Envoyé par SimonDecoline Voir le message
OpenMP traite justement ce genre de problèmes. Ca existe depuis 20 ans et c'est disponible dans quasiment tous les compilateurs C/C++/Fortran mainstream depuis au moins 10 ans.

OpenMP est utilisé dans de nombreuses bibliothèques scientifiques, notamment d'IA :
https://github.com/tensorflow/tensor...Lists.txt#L212
https://github.com/Microsoft/CNTK/bl...mmon.cmake#L72
https://github.com/apache/incubator-...Lists.txt#L387
C'est une chance que quelqu'un ait fait un article, car autrement je n'aurais jamais connu son existence. Je viens de réaliser qu'il n'y a pas beaucoup d'ouvrages qui traitent de librairies. Cela pourrait être utiles.

 
Contacter le responsable de la rubrique Accueil