Linux équipe 100 % du Top500 des meilleurs supercalculateurs au monde
Car il serait plus aisé de modifier et d'optimiser son code source libre

Le , par Christian Olivier, Chroniqueur Actualités
Le 50e classement du Top500 des superordinateurs les plus puissants au monde est disponible depuis peu. Outre le fait qu’il permet de comparer la puissance des 500 supercalculateurs les plus puissants qui existent actuellement, ce classement fournit également un lot d’informations intéressantes qui peuvent être exploitées pour se faire une idée sur les différents processeurs qui équipent ces machines, identifier leurs fabricants ou encore déterminer dans quelle région du globe elles ont été construites.

En se focalisant, par exemple, sur la nature du système d’exploitation sous lequel chacun de ces supercalculateurs tourne on s’aperçoit très vite que le seul OS listé est Linux. Cela veut dire que désormais Linux équipe les 500 superordinateurs les plus puissants au monde. Qu’il s’agisse des 202 superordinateurs détenus par la Chine, des 143 supercalculateurs que les États-Unis possèdent ou du superordinateur Japonais K Computer qui est actuellement considéré comme le plus puissant du monde (d’après le classement du benchmark HPCG), toutes ces machines tournent sous Linux.

Les deux derniers systèmes de calcul non Linux, deux superordinateurs chinois IBM POWER qui tournaient sous AIX, ont été supprimés de ce dernier classement qui s’appuie sur les résultats fournis par le benchmark LINPACK. Lorsque la première liste de supercalculateurs Top500 a été établie en juin 1993, personne n’aurait pu s’imaginer qu’en l’espace d’une vingtaine d’années, Linux aurait autant de succès sur le marché du supercalcul.

Depuis sa première apparition dans ce classement Top500 en 1998, le nombre de machines tournant sous Linux a constamment augmenté. En 2004, les chiffres indiquaient que Linux était présent sur plus de la moitié des 500 supercalculateurs comparés. Six années plus tard, Linux tournait déjà sur 90 % des 500 meilleurs supercalculateurs du monde. Au moins deux raisons permettent d’expliquer ce phénomène.

D’abord, il faut rappeler que les meilleurs supercalculateurs du monde sont pour la plupart des machines de recherche. Elles ont été construites pour réaliser des tâches bien spécifiques. De ce fait, chaque supermachine est un projet autonome avec des caractéristiques et des exigences d’optimisation uniques. En optant pour Linux, les équipes de recherche peuvent réaliser des économies non négligeables notamment parce qu’il serait plus aisé de modifier et d’optimiser le code source libre de Linux pour ce genre de travaux. De plus, le coût de la licence d’une distribution Linux personnalisée et la qualité du support resteraient les mêmes, que vous utilisiez 20 nœuds ou 20 millions de nœuds.

D’autre part, il faut noter que, depuis l’introduction de Linux 4.14, les supercalculateurs tournant sous Linux peuvent utiliser la technologie HMM (Heterogeneous Memory Management). Celle-ci permet la copie d’un espace d’adressage de processus et l’utilisation transparente de la mémoire système par n’importe quel processus de périphérique (GPU et CPU). Environ 20 % des 500 supercalculateurs classés dans le Top500 de HPCG utilisent cette technologie.

Même si Linux n’a toujours pas réussi à s’imposer sur le marché des OS de Bureau, Linux devrait encore avoir de beaux jours devant lui sur le marché des supercalculateurs en attendant l’avènement des machines quantiques.

Source : Top 500, Fondation Linux

Et vous ?

Qu’en pensez-vous ?


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de Aeson Aeson - Nouveau Candidat au Club https://www.developpez.com
le 15/11/2017 à 23:08
Cool... je vais utiliser un super calculateur pour mettre faire tourner mon DC....
Avatar de Aeson Aeson - Nouveau Candidat au Club https://www.developpez.com
le 15/11/2017 à 23:16
les équipes de recherche peuvent réaliser des économies non négligeables
Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....
Avatar de Namica Namica - Membre éprouvé https://www.developpez.com
le 16/11/2017 à 0:59
Citation Envoyé par Aeson Voir le message
Cool... je vais utiliser un super calculateur pour mettre faire tourner mon DC....
Un DC (Data Center ?) ne relève pas du domaine des supercalculateurs. Ce n'est vraiment pas le même domaine d'application.

Citation Envoyé par Aeson Voir le message
Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....
Ce n'est pas du vent : ces supercalculateurs existent (on parle de GNU-Linux et non d'une distribution standard).

  • Et non : ni windows, ni MacOS, ni une distribution standard telles que Ubuntu ou autre ne sont prévus pour cela.
  • Et oui, même si GNU-Linux est gratuit,
    • cela a un coût matériel très élevé;
    • cela nécessite des compétences rares et couteuses (pléonasme) pour mettre au point l'architecture et l'OS.

Ça reste hors de portée des windows, MacOS et GNU-Linux "standards" mais aussi des petits utilisateurs tels que nous, car en plus il faut les applis pour tirer parti de ces monstres, et là, ce n'est pas Windows ou MacOS ou Ubuntu qui peuvent aider (à part, peut-être comme front ou back end, et encore, à ce niveau, pourquoi s'encombrer d'eux ?)

N'oublions pas que :
Citation Envoyé par Christian Olivier Voir le message
[B][SIZE=4]
D’abord, il faut rappeler que les meilleurs supercalculateurs du monde sont pour la plupart des machines de recherche. Elles ont été construites pour réaliser des tâches bien spécifiques. De ce fait, chaque supermachine est un projet autonome avec des caractéristiques et des exigences d’optimisation uniques. En optant pour Linux, les équipes de recherche peuvent réaliser des économies non négligeables notamment parce qu’il serait plus aisé de modifier et d’optimiser le code source libre de Linux pour ce genre de travaux. De plus, le coût de la licence d’une distribution Linux personnalisée et la qualité du support resteraient les mêmes, que vous utilisiez 20 nœuds ou 20 millions de nœuds.
Donc, effectivement, cela n'affecte pas la majorité d'entre-nous, sauf dans la reconnaissance/confiance que l'on peut accorder à GNU-Linux, même si nos machines à nous sont à une galaxie de distance de ces supercalculateurs.
D'ailleurs Microsoft n'est-il pas en train de s'ouvrir de plus en plus à GNU-Linux ? (Cf. nombreuses références sur DVP).

Voir aussi :
https://www.developpez.com/actu/1734...enchmark-HPCG/
Et des tas d'autres références sur DVP ou ailleurs.
Avatar de Jipété Jipété - Expert éminent https://www.developpez.com
le 16/11/2017 à 9:29
Citation Envoyé par Aeson Voir le message
Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supportent ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....
Rhôôôô, après un bête make menuconfig, on peut générer le noyau qui va bien :
  1. valider la ligne en surbrillance ;
  2. changer le nombre de la dernière ligne ;
  3. enregistrer, sortir, recompiler et hop !

Avatar de RyzenOC RyzenOC - Membre averti https://www.developpez.com
le 16/11/2017 à 10:50
On peut utiliser des distribution linux grand publique dans des super calculateur. j'en ai qui tournent sous debian et redhat.
Un super calculateur c'est pas 1 machine mais des centaines de machines/noeuds.

J'ai des debian qui supporte très bien 2000coeurs cpu (a base de xeons phi) et 3TB de ram/noeuds.
Meme chose du coté de redhat.
Ces machines, vous n'avez plus qu'a les relier par un réseaux haute vitesse (infiniband par exemple) et à installer un ordonnanceur/scheduler comme torque/slurm (c'est gratuit, vous avez juste à télécharger le paquet et configurer un fichier .conf)

vous pouvez au passage le faire chez vous pour vous amuser avec 2 machines linux relier en simple ethernet. Vous pouvez lancer n'importe quel programmes linux et slurm répartira la charge cpu sur vos 2 machines.
Avatar de AoCannaille AoCannaille - Membre chevronné https://www.developpez.com
le 16/11/2017 à 17:57
Citation Envoyé par Aeson Voir le message
Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre.
N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...
Avatar de RyzenOC RyzenOC - Membre averti https://www.developpez.com
le 16/11/2017 à 18:44
Citation Envoyé par AoCannaille Voir le message
N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...
16 millions de TB non on est très très loin d'atteindre un tels chiffre.

Avant l'os tu sera bridé par la carte mere : nombre de slot de ram et taille des barettes. Débit et latence des bus aussi
Le cpu, le max que peut supporter un cpu à ma connaissance c'est dans les 6TB de ram
Tu peut tricher en utilisant la vram des gpu, mais même les gpu nvidia ont leurs limite, je crois que tu ne peut pas relier plus de 128 tesla entre elle.

Dernière limitation et pas des moindre : l'énergie. Si l'argent n'étais pas un probleme, on pourrais atteindre facilement l'exascale mais pour cela faudrait 1 centrale nucléaire complète dédié à la machine. Dont la plus grosse partie de cette énergie servira à la refroidir

Si on utilise pas Windows c'est pas parce que Windows est un os gourmand et occupe 20go d'espace disque et 1Go de ram mais tous simplement qu'on ne peut pas le paramétrer => modifier les algorithmes d’ordonnancement des processus (dans la ram et le cpu) et windows ne dispose pas de Sheduler aussi puissant que Linux. Et que tu ne peut pas le connecter à des système de fichiers spécifiques pour HPC comme lustre.
Globalement avec Windows on ne peut strictement rien faire dans ce domaine. Mais si il offrait ces possibilités de customisation il serait je pense parfaitement utilisable.
Avatar de papy88140 papy88140 - Membre régulier https://www.developpez.com
le 21/11/2017 à 11:31
Je dirais même qu'avec un petit retour en arrière, on voit bien que Linux peut à peu près tout faire (sauf le café, en encore ...)
Genre un supercalculateur avec des consoles de jeu.

https://www.developpez.com/actu/3044...ee-americaine/
Avatar de SurferIX SurferIX - Membre chevronné https://www.developpez.com
le 24/11/2017 à 10:25
Citation Envoyé par AoCannaille Voir le message
N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...
Tu as certainement raison, le discours est surtout de dire que c'est possible (pas forcément ultra efficace, mais possible). Et en terme d'efficacité, (temps d'envoi le boulot à faire + attente + réception du boulot fait) peut parfois être plus rentable que de tout calculer sur le même ordinateur (je suppose, mais je ne sais pas vraiment, j'ai jamais testé...).

Citation Envoyé par Christian Olivier Voir le message
Linux équipe 100 % du Top500 des meilleurs supercalculateurs au monde
Et dire que j'ai encore quelques étudiants qui ne comprennent pas l'intérêt de Linux... d'ailleurs il y en a pas mal qui n'ont pas du tout apprécié quand j'ai dit "pour le prochain cours NodeJS, Linux obligatoire vous vous débrouillez comme vous voulez, mais j'ai toujours, depuis 2 ans que je fais des cours NodeJS, au moins 1/4 des élèves (dans les 4 établissements où j'interviens), qui passent entre une et trois heures à réussir à installer NodeJS, à cause de cette daube de Windows, donc Linux = obligatoire pour les cours NodeJS"

..

Et à l'IUT j'ai adoré quand la prof de programmation réseau a sorti à tous les élèves pour qui ça faisait râler de se connecter sur Linux : "si vous ne voulez pas apprendre Linux dans le monde professionnel, laissez tout de suite tomber les études en informatiques !".

Citation Envoyé par Christian Olivier Voir le message
Linux devrait encore avoir de beaux jours devant lui sur le marché des supercalculateurs en attendant l’avènement des machines quantiques.
Pourquoi "en attendant l’avènement des machines quantiques", comme si à ce moment là, seulement Windows et Mac arriveront à gérer les machines quantiques ? Faut se renseigner sur IBM et les OS avec lesquels ils travaillent, hein...
Avatar de domi65 domi65 - Membre averti https://www.developpez.com
le 24/11/2017 à 10:52
Pourquoi "en attendant l’avènement des machines quantiques", comme si à ce moment là, seulement Windows et Mac arriveront à gérer les machines quantiques ?
Les machines quantiques ne reposeront ni sur Windows, ni sur MacOS ni sur Linux, mais d'autres OS qu'il reste à inventer. Linux perdra donc sa place.
Contacter le responsable de la rubrique Accueil