Microsoft vient d’établir un nouveau record de tri des données au test MinuteSort, avec un nouveau procédé baptisé Flat Datacenter Storage (FDS), permettant de trier rapidement de grandes quantités de données.
Pour rappel, le benchmark MinuteSort est un test qui mesure la quantité de données pouvant être triée en 60 secondes.
Le système développé par les chercheurs de Microsoft a permis de trier 1401 Go de données en seulement une minute, battant ainsi le record de tri de 500 Go de données dans le même temps détenu par Yahoo depuis 2009.
De plus, la technique utilisée par Microsoft nécessite moins de ressources. Le système utilise 1 033 disques et 250 machines alors que la procédure de Yahoo nécessite la présence de 5 624 disques et 1 406 machines.
La procédure de tri FDS s’inspire de Google MapReduce, tel qu’il est implémenté dans Apache Hadoop, sauf que chaque serveur négocie le cluster de tri. Les chercheurs ont également utilisé une technologie supplémentaire du nom de « full bisection bandwidth networks » pour stimuler la bande passante, permettant à chaque ordinateur d’envoyer et recevoir environ 2Go de données par seconde.
La nouvelle technique développée par Microsoft a été présentée à la conférence Association for Computing Machinery, destinée aux bases de données, cette semaine à Scottsdale, en Arizona.
FDS sera également implanté dans le moteur de recherche Bing afin d’améliorer le temps de réponses aux requêtes des utilisateurs.
Source : Microsoft Research
Microsoft bat le record de tri des données
Avec une nouvelle technique qui sera implantée dans Bing
Microsoft bat le record de tri des données
Avec une nouvelle technique qui sera implantée dans Bing
Le , par Hinault Romaric
Une erreur dans cette actualité ? Signalez-nous-la !
Envoyé par deathness
.
