Samsung inscrit un nouveau record mondial dans le tri de données
DeepSort permettrait de traiter jusqu'à 3,7 To de données en 60 secondes

Le , par Amine Horseman, Expert éminent sénior
Samsung vient de battre le record du tri, avec DeepSort, qui a fini numéro 1 dans la compétition mondiale du tri de données de cette année. Il a réussi à réorganiser 3,7 To de données en 60 secondes, battant ainsi le record précédent qui était à 1,5 To.

Le moteur de tri DeepSort a été testé dans un environnement en réseau composé de 384 nœuds. Chaque nœud est constitué de deux processeurs Intel Xeon hexa-core 2,1 GHz, 64 Go de RAM, huit disques durs de 3 To de 7200 tours/min, avec un système de fichiers ext4, CentOS 6.4 comme système d’exploitation, et un port Ethernet 10 Gbps.

« Ce sont en fait des spécifications modérées par rapport aux autres principaux concurrents de la compétition », affirme le géant coréen dans un communiqué de presse. Samsung aurait délibérément choisi une configuration moyenne afin de mieux évaluer la performance pure de son logiciel. « La plupart des autres compétiteurs avaient opté pour des disques durs SSD », qui permettent d'accélérer grandement le transfert de données, et par conséquent, la quantité de données triées durant ce test.

Pour atteindre ce record, Samsung a misé sur le traitement simultané et le multithreading à tous les niveaux des composantes du programme ; un flux de données qui partage l'espace mémoire limité ; la répartition de la charge entre tous les serveurs et la maximisation d'utilisation de la mémoire cache.

Ce genre de programmes est destiné le plus souvent au traitement des immenses quantités de données, surtout avec l'apparition des objets connectés et du Big Data. Samsung prévoit aussi de l'utiliser dans ses nombreuses applications et services mobiles qui intègrent des fonctionnalités de recherche, améliorant ainsi les performances ainsi que l'expérience utilisateur.

Source : le PDF de présentation de DeepSort

Et vous ?

Que pensez-vous des performances de DeepSort ?


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de _skip _skip - Expert éminent https://www.developpez.com
le 28/11/2014 à 9:21
Citation Envoyé par Amine Horseman  Voir le message
Le moteur de tri DeepSort a été testé dans un environnement en réseau composé de 384 noeuds. Chaque nœud est constitué de deux processeurs Intel Xeon hexa-core 2,1 GHz, 64 Go de RAM, huit disques durs de 3To et 7200 tours/min, avec un système de fichiers ext4, CentOS 6.4, et un port Ethernet 10 Gbps.

"Ce sont en fait des spécifications modérées par rapport aux autres principaux concurrents de la compétition", affirme le géant Koréen dans un communiqué de presse. Samsung aurait déliberement choisi une configuration moyenne afin de mieux évaluer la performance pure de son logiciel. "La plupart des autres compétiteurs avaient opté pour des disques durs SSD", qui permettent d'accélerer grandement le transfert de données, et par consequent, la quantité de données triées durant ce test.

C'est une vraie compétition officielle?
Si tel est le cas, c'est pas curieux que l'évaluation n'ait pas lieu sur le même hardware? Je veux dire, si chacun se ramène avec ce qu'il veut comme machine, les résultats seraient difficilement comparables.
Avatar de Aiekick Aiekick - Membre expérimenté https://www.developpez.com
le 28/11/2014 à 9:47
Je trouve curieux, ils aient préféré jugé l’implémentation plutôt que l'algorithme.
Avatar de Uther Uther - Expert éminent https://www.developpez.com
le 28/11/2014 à 11:54
Citation Envoyé par cuicui78  Voir le message
Je trouve curieux, ils aient préféré jugé l’implémentation plutôt que l'algorithme.

Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?
Avatar de Max Lothaire Max Lothaire - Membre averti https://www.developpez.com
le 28/11/2014 à 13:33
Citation Envoyé par Uther  Voir le message
Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?

Les performances relevées seront différentes d'une implémentation à une autre si celles-ci utilisent des technologies différentes.

Mais il est également vrai qu'un calcule de complexité n'est pas suffisant.
Avatar de dessma dessma - Membre régulier https://www.developpez.com
le 28/11/2014 à 17:45
Citation Envoyé par _skip  Voir le message
C'est une vraie compétition officielle?
Si tel est le cas, c'est pas curieux que l'évaluation n'ait pas lieu sur le même hardware? Je veux dire, si chacun se ramène avec ce qu'il veut comme machine, les résultats seraient difficilement comparables.

En effet difficilement comparable mais je crois qu'à ce niveau là c'est inévitable. Exemple quelconque, si un algo capitalise sur la distribution sur un maximum de processeurs faibles via réseau et un autre est designé pour performer sur un seul cpu ultra puissant sur stéroïdes, une même architecture physique favorisera aussi un des deux compétiteurs, indépendamment du coût du matériel.
Avatar de abriotde abriotde - Membre éclairé https://www.developpez.com
le 28/11/2014 à 19:05
Ils ont dit avoir pris une configuration moyenne, ce qui ne veut pas dire qu'il n'y ait pas de limite dans le possible. C'est certains avec un CPU spécialement conçus pour, une carte mère dédié et 5 Tera de RAM ont peu faire la même chose en 10 secondes (Mais a quels coût? simplement pour gagner un concours). Je suppose qu'il y avait des spécifications imposé. Genre "avec du matériel standard du commerce" cela limite la marge tout en autorisant le SSD. Mais si Samsung savait qu'il pouvait battre le record avec un disque dur classique et qu'avec un SSD il ne gagnait pas grand chose car il utilise que très peu d'écriture disque, il avait tout intérêt a utiliser un disque dur classique pour marquer les esprit et se faire plus de pub.
Avatar de Aiekick Aiekick - Membre expérimenté https://www.developpez.com
le 04/12/2014 à 13:06
Citation Envoyé par Uther  Voir le message
Je ne suis pas sur de comprendre. Comment tu fais pour tester un algorithme qui n'est pas implémenté?

Je pensais aux calculs de complexité, qui fait qu'on est capable de dire si un algo est supérieur a un autre: => http://fr.wikipedia.org/wiki/Analyse...es_algorithmes

Ce qui signifie que cet algo est bon quand il est implémenté d'une certaine façon. pour un concours je trouve ça curieux, et inutile.
Savoir qu'un techno est super rapide, mais seulement avec une certaine config et une implémentation particulier diminue de beaucoup l’intérêt.
Je suis plutôt du coté de ce qui est fait sur les algo de cryptage ou on juge plutôt la robustesse par l'algorithme en délaissant totalement l’implémentation.
L'algo de recherche qui a fait le succès de google, montre de par son algorithme toute sa puissance, pas besoin d'aller voir implémentation pour juger

pour qu'une technologie soie bonne, il faut que l'algo soit bon en 1er lieu et que son implémentation le soit aussi en un second temps.
Un bon algo et une bonne implémentation seront toujours supérieur a un algo pourri et une bonne implémentation ( ou inversement ).
Avatar de Uther Uther - Expert éminent https://www.developpez.com
le 04/12/2014 à 16:38
Je ne dis pas que l'étude d'un algorithme n'est pas intéressante, bien au contraire. C'est certainement plus utile pour un utilisateur qui a besoin de connaitre les force et les faiblesses de la solution qui l’intéresse.
Cependant, dans le contexte d'un concours, ou l'ont doit s'appuyer sur des valeurs mesurables, ça n'a pas de sens. C'est comme déterminer le vainqueur d'un match de foot en fonction de la cote des bookmakers.
Offres d'emploi IT
Architecte systèmes externes TP400 H/F
Safran - Ile de France - Moissy-Cramayel (77550)
Expert Technico Fonctionnel Sharepoint H/F
Safran - Ile de France - Corbeil (91)
Chef de projet technique H/F
Safran - Ile de France - Melun (77000)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Accueil