IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

BitsCope conçoit un superordinateur avec 750 cartes Raspberry Pi
Et ouvre une nouvelle porte dans le champ des possibilités offertes par ces cartes

Le , par Olivier Famien

457PARTAGES

9  1 
Depuis l’apparition des cartes Raspberry Pi, toutes sortes de projets ont vu le jour sur la toile. Sur la liste des projets mis en œuvre par les détenteurs de ces cartes, nous avons par exemple le développement de talkie-walkie, la conception de caméras, la mise en œuvre de média centre, la création de robots ou encore un miroir « magique » intégrant une interface de communication.


Bien que les possibilités offertes par ces cartes ne semblent limitées que par l’imagination de leurs créateurs, il est toutefois un domaine où ces cartes ne semblent pas avoir encore été bien utilisées. C’est celui des superordinateurs.

En général, lorsque vous avez besoin de puissance de calcul dans un matériel, soit vous ajoutez un processeur plus puissant, soit vous combinez plusieurs processeurs. Et pour ce qui concerne les superordinateurs, c’est la dernière solution qui est généralement utilisée.

Aussi, lorsque le laboratoire Los Alamos National a souhaité concevoir un superordinateur, pour permettre à ses développeurs de concevoir et tester des logiciels sur des ordinateurs de haute performance, l’entité était limitée par certains facteurs comme les moyens financiers. Il faut préciser qu’avec les superordinateurs, les coûts peuvent partir de dizaines de millions de dollars à des milliards de dollars pour les plus véloces. En plus d’être chers, ils sont également assez imposants et très énergivores.

En réfléchissant à comment concilier les différentes contraintes, à savoir mettre en œuvre des appareils de haute performance à moindres coûts, Gary Grider, chef de la Division informatique haute performance du Los Alamos National Laboratory, a « soudainement réalisé que le Raspberry Pi était un ordinateur peu coûteux utilisant 2 à 3 watts que vous pouviez utiliser pour construire un système de plusieurs milliers de nœuds assez grands pour fournir un banc d’essai à faible coût et de faible puissance. »

Los Alamos National Laboratory a donc porté son dévolu sur les cartes Raspberry Pi. Techniquement, les cartes Raspberry Pi offrent des puissances de calcul relativement faibles avec leur processeur ARM. Mais ce qui fait l’attrait de ces cartes, c’est qu’elles sont de petite taille, permettant ainsi de les adapter à souhait ou de les intégrer à d’autres supports. En outre, elles sont moins chères et ont une consommation énergétique très basse.

Et pour construire le supercalculateur, Los Alamos National Laboratory s’est tourné vers l’entreprise australienne bitsCope qui conçoit des solutions embarquées d’acquisition de données, de mesure et de tests pour la recherche, l’éducation et l’industrie. Bruce Tulloch, PDG de bitscope, qui a déjà eu à tester ces cartes déclare qu’ayant « travaillé avec Raspberry Pi pendant un certain temps, je l’ai longtemps considéré comme le candidat idéal pour construire des solutions cloud et cluster à faible coût pour la recherche et l’éducation. »

Après avoir planché sur les exigences de Los Alamos National Laboratory pendant trois mois, bitsCope a sorti un superordinateur composé de « cinq modules Cluster Pi montés en rack, chacun comportant 150 nœuds à quatre cœurs sur des cartes de processeurs ARM pour Raspberry Pi. Elles sont entièrement intégrées à l’infrastructure de commutation de réseau avec un total de 750 CPU ou 3 000 cœurs travaillant ensemble. »

Bien évidemment, le cluster Raspberry Pi conçu ne pourra pas remplacer le plus petit superordinateur figurant dans la liste du top 500 des supercalculateurs les plus performants au monde. Mais comme l’indique Grider, cette solution basée sur Raspberry Pi permettra « à ses développeurs de construire, de dimensionner et de tester des logiciels avant de les lancer sur Trinity, Crossroads et d’autres grands systèmes. »

Il faut souligner que si le cluster avait été construit avec d’autres composants, il aurait coûté un quart de milliard de dollars et utiliserait 25 mégawatts d’électricité, note Los Alamos. Avec cette nouvelle application trouvée aux cartes Raspberry Pi, l’on se demande quel projet pourrait limiter ces cartes.

Source : Los Alamos National Laboratory, BitsCope

Et vous ?

Utilisez-vous les cartes Raspberry Pi ?

Quel projet avez-vous conçu avec ces cartes ?

Voir aussi

Le Raspberry Pi fête ses 5 ans avec un nouveau modèle : Le Raspberry Pi Zero W, disponible à 10 $
La fondation Raspberry Pi lance le Compute Module 3, la dernière version du module Raspberry Pi destiné à être intégré dans d'autres produits
Le Raspberry Pi enregistre 12,5 millions de ventes en 5 ans, quelle place dans l'écosystème des ordinateurs sur le long terme ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Mimoza
Membre averti https://www.developpez.com
Le 29/11/2017 à 15:59
@ilapasle25 : T'as pas tout a fait compris l'objectif de ce «super calculateur». Ce n'est absolument pas d'exploiter sa puissance de calcul, mais de servir de banc de test/calibrage/affinage des programmes écrits qui devront être exécuter sur de vrai système qui facture leur temps d'utilisation très cher. Et si on devait se limiter a faire des «petites» recherche car on a pas d'€€€ on en serais pas là aujourd'hui et toi tu ne pourrais pas écrire ton commentaire sur le monstre de puissance que tu utilise.
3  0 
Avatar de CaptainDangeax
Membre expérimenté https://www.developpez.com
Le 30/11/2017 à 10:08
ça me fait toujours rigoler les gars qui arrivent et qui disent "ça ne marchera jamais". donc je vais faire un petit rappel historique. Le premier cluster Linux dont on a entendu parler, c'était beowulf. C'était avec des 486DX4-100 avec des cartes éthernet en 10base2, celui avec un média partagé sur un câble coaxial. à l'époque, rien de tel n'existait et je ne doute pas que des grands yaka chez cray, ibm, hp, sun, etc ont bien rigolé à l'époque devant ce cluster motorisé par un freeware et monté avec du matériel réformé. Et nous voilà, 20 ans après, avec le top100 motorisé à 100% Linux. Alors monter un cluster avec des RPI pour vérifier que le programme distribue bien sur tous les noeuds et que ça ne bloque pas sur 1 plus chargé que les autres, c'est une bonne idée. C'est en tout cas une meilleure idée que de ne rien faire. L'autre solution aurait été de faire comme pour beowulf, récupérer dans le stock un lot de vieilles machines, mettre un scientific linux dessus, un switch gigabit entre elles, et consommer un peu de courant en plus.
https://fr.wikipedia.org/wiki/Cluster_Beowulf
De mon coté j'ai une maquette pour valider le projet sur lequel je travaille. évidemment, ce n'est pas avec les 5 VM sur la maquette que je vais pouvoir extrapoler les mesures de vitesse vers la production avec ses 5000 clients, et les 22 serveurs de mon projet. Par contre, je peux tester que la stratégie B de stockage des archives libère 40% d'espace en plus que la stratégie A, et c'est vérifié en production. Et si je n'ai pas de comparaison possible en valeur absolue, je peux tout de même tester que la méthode de transfert B entre serveurs est beaucoup plus rapide que la méthode A (au minimum 2 fois plus rapide sur la maquette), et c'est vérifié en production avec un gain en vitesse d'un facteur 3.
Sans maquette, ces tests ne sont tout simplement pas possibles et il ne faut pas prendre ce cluster de RPi pour autre chose que ce qu'il est : une maquette.
J'ai étudié l'électronique dans ma jeunesse et il y a 2 méthodes identifiables : synchrones et asynchrones. En synchrone, il est obligatoire d'accorder la chaîne de traitement à la vitesse du maillon le plus lent. Et donc, du temps est perdu. En asynchrone, la distribution se fait avec des indicateurs "j'ai terminé". J'espère juste que leur scheduler est asynchrone pour se caler avec toutes les latences induites par la chaîne de traitement.
3  0 
Avatar de transgohan
Expert éminent https://www.developpez.com
Le 29/11/2017 à 17:31
Citation Envoyé par ilapasle25 Voir le message
ce n'est pas de la performance que je parle !
Mais des algorithmes du Scheduler qui sont complètement pas adapté a l’Ethernet.
Leurs machine fera n'importe quoi.
Des communications ethernet à la place de lien série pour communiquer entre plusieurs processeurs cela se fait depuis très longtemps en embarqué...

De plus on ne schédule pas des traitements entre divers processeurs comme on le ferrai avec des tâches sur un processeur, on les distribue ce qui est totalement différent...
Tu ne connais visiblement rien au domaine.
3  1 
Avatar de transgohan
Expert éminent https://www.developpez.com
Le 29/11/2017 à 20:49
C'est un sérieux abus de langage justement...
On n'ordonnance pas des processeurs, on leur distribue des traitements.

Et au passage : Terascale Open-source Resource and QUEue Manager est un DRMS (distributed ressource management system), ce n'est pas vraiment un scheduler justement.
Par abus de langage beaucoup l'appelerons un job scheduler mais c'est foncièrement différent d'un ordonnanceur de tâches.

Bref un scheduler cela ordonne des tâches sans se soucier du résultat, alors qu'un DRMS cela distribue des tâches sur des ressources et en récupère le résultat.

Vois le DRMS comme un scheduler évolué si ça peut te faire plaisir...
Mais c'est comme dire qu'un camion 3.5T c'est une voiture.
3  1 
Avatar de vizivir
Membre du Club https://www.developpez.com
Le 29/11/2017 à 16:52
le but ici je pense n'est pas de tester les performances de leurs logiciels mais comment un supercalculateurs avec plusieurs milliers de nœud réagis à leurs programme , et même si avec ethernet les résultat ne seront pas les même qu'avec infiniband sa leurs permettra surement de leurs donné une idée des performances de leurs programmes , l'utilisation d'ethernet ralentie le processus et augmente le nombre d'erreurs mais sur plusieurs dizaines voir centaines de test tu peux commencez à calculer la marge d'erreur que tu as avec ethernet et donc tu peux te faire une idée des performances de ton programme sur un vrai supercalculateurs je dit bien une "idée" c'est toujours mieux que d'y allez à l'aveugle.
1  0 
Avatar de vizivir
Membre du Club https://www.developpez.com
Le 29/11/2017 à 17:06
je pense qu'il sont pas complètement teubé et qu'il utilisent des algorithme adapté aux capacité de leur machines .
il ont un minimum étudié les truc en amont j’espère.
1  0 
Avatar de transgohan
Expert éminent https://www.developpez.com
Le 29/11/2017 à 22:27
Tu coupes encore en deux pour ne garder que la partie qui t'intéresses...
Slurm is an open source, fault-tolerant, and highly scalable cluster management and job scheduling system for large and small Linux clusters.
2  1 
Avatar de ilapasle25
Inactif https://www.developpez.com
Le 30/11/2017 à 10:49
Citation Envoyé par MikeRowSoft Voir le message
C'est vrai que mes souvenirs de M.P.I. date, mais c'est bien du distribué et non du "chef d'orchestre" puisque chaque thread/application chargé sur chaque "calculateurs" à la marche à suivre de tous (ou son groupe) et les délais de tous (ou son groupe) pour une meilleure synchro...

En fait le bus Ethernet ne fait pas de chaque "calculateur" un registre de CPU et donc avoir une gestion multi threads façon système d'exploitation... Le distribué est principalement des échanges d'informations entre participants pour finir par ériger la "pyramide" avec au sommet la ou les solutions finals.

Fibre optique pour réduire la latence ?
Yes
1  0 
Avatar de transgohan
Expert éminent https://www.developpez.com
Le 29/11/2017 à 14:39
Intéressant comme résultat.
1  1 
Avatar de
https://www.developpez.com
Le 29/11/2017 à 22:46
C'est vrai que mes souvenirs de M.P.I. date, mais c'est bien du distribué et non du "chef d'orchestre" puisque chaque thread/application chargé sur chaque "calculateurs" à la marche à suivre de tous (ou son groupe) et les délais de tous (ou son groupe) pour une meilleure synchro...

En fait le bus Ethernet ne fait pas de chaque "calculateur" un registre de CPU et donc avoir une gestion multi threads façon système d'exploitation... Le distribué est principalement des échanges d'informations entre participants pour finir par ériger la "pyramide" avec au sommet la ou les solutions finals.

Fibre optique pour réduire la latence ?
0  0