IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Facebook sort Presto, son moteur de requêtes open source pour le big data,
Qui serait dix fois plus performant que celui de Hadoop

Le , par Cedric Chevalier

140PARTAGES

4  2 
De nombreuses entreprises comme Facebook dépendent du Big data. Dans le domaine, on compte la paire Hadoop/Hive parmi les références. Pour rappel, Hive c’est le moteur de requêtes populaire pour Hadoop.

Cependant, il se pourrait que le MapReduce élément essentiel sur lequel repose Hive ne soit pas optimisé pour des situations ou la quantité de données excède un certain seuil. En effet, la latence deviendrait ainsi élevée pour les requêtes effectuées avec Hive.

Les ingénieurs de Facebook, ayant cherché sans succès une solution de remplacement de Hive, en sont venus à créer leur propre moteur de requêtes open source écrit en Java, qu’ils ont baptisé « Presto ».

Presto diffère de Hive sur plusieurs points, bien que leurs clusters présentent tous les deux des architectures assez similaires (il y a toujours au moins un nœud maître et des nœuds esclaves).

Presto implémente une méthode personnalisée de distribution de tâche au sein de son cluster, qui n’est pas basée sur MapReduce. De plus, il utilise un langage de requête compatible ANSI SQL.


Selon les ingénieurs du réseau social, Presto serait dix fois plus performant qu’Hive en termes de réduction de charge sur le CPU, ainsi que la diminution de la latence pour les requêtes (raison pour laquelle il a d’ailleurs été conçu).

Pour les mois à venir, l’équipe de développement de Presto annonce travailler pour la création de connecteurs pour les solutions Hbase, Scribe et bien d’autres.

Télécharger Presto

Source: Facebook

Et vous ?

Utiliserez-vous Presto ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de CapFlow
Membre actif https://www.developpez.com
Le 11/11/2013 à 9:00
Le nom Presto me dit bizarrement quelque chose ...
3  0 
Avatar de psychadelic
Expert confirmé https://www.developpez.com
Le 11/11/2013 à 12:14
Citation Envoyé par CapFlow Voir le message
Le nom Presto me dit bizarrement quelque chose ...
C'est le nom de l'ancien Moteur de rendu du navigateur d'Opera
2  0 
Avatar de CapFlow
Membre actif https://www.developpez.com
Le 11/11/2013 à 15:58
Citation Envoyé par psychadelic Voir le message
C'est le nom de l'ancien Moteur de rendu du navigateur d'Opera
Oui je sais, c'était justement pour montrer que FaceBook n'avait pas eu d'imagination (désolé si mon ironie était trop cachée :p)
1  0 
Avatar de pmithrandir
Expert éminent https://www.developpez.com
Le 11/11/2013 à 9:59
Bonjour

Je trouve l'initiative intéressante.
Je n'ai par contre pas pou voir si presto reprenait les avantages des BDD relationnelles.

En effet, j'ai bien trouvé des solutions multiples pour multiplier la puissance de calcul (avec une redondance des données sur chaque serveur) mais par contre, c'est très difficile de trouver une solution SQL qui permettrait un stockage réparti sur plusieurs serveurs. (quand on a besoin de beaucoup de stockage, mais de peu de puissance / réactivité / concurrence)

En tout cas, leur initiative de le mettre en open source montre bien la tendance actuelle de partager les efforts.
0  0 
Avatar de pmithrandir
Expert éminent https://www.developpez.com
Le 11/11/2013 à 12:08
pour moi, partager les effort, c'est pragmatique, pas une gentillesse.

On le fait la ou je bosse, mais jamais par bonté d'ame.
On le fait pour encourager une solution a grandir, pour imposer une solution sur le marché, ou vraiment pour partager les couts.

C'est ce que je voulais dire.
0  0 
Avatar de Marco46
Expert éminent sénior https://www.developpez.com
Le 11/11/2013 à 15:15
Citation Envoyé par pmithrandir
Je n'ai par contre pas pou voir si presto reprenait les avantages des BDD relationnelles.
Ce n'est pas possible d'avoir une bdd relationnelle avec des contraintes d'intégrités, des clefs étrangères, etc ... dans un contexte big data.

Cela demande une trop grande concentration de ressources au même endroit (pour la gestion de l'intégrité) alors que le principe du big data c'est de répartir les données et les calculs afin d'être scalable.

Citation Envoyé par alex_vino
Malheuresement ce n'est pas toujours pour seulement "partager ses efforts" et par pure gentillesse, sinon a quoi bon recruter et payer une fortune beaucoup des meilleurs ingénieurs au monde.
Ce n'est pas de la gentillesse, c'est simplement plus efficace dans ce contexte. Si tu regardes la liste des commiters Hadoop, tu as 80% des dev qui sont employés chez Google et Facebook.
0  0 
Avatar de Njörd
Membre averti https://www.developpez.com
Le 11/11/2013 à 15:52
Bonjour,

Citation Envoyé par Marco46 Voir le message
Ce n'est pas possible d'avoir une bdd relationnelle avec des contraintes d'intégrités, des clefs étrangères, etc ... dans un contexte big data.
Que penses-tu du NewSQL permettant d'avoir les avantages du NoSQL avec les principes ACID ? Trop contraignant pour le big data ?
0  0 
Avatar de pmithrandir
Expert éminent https://www.developpez.com
Le 11/11/2013 à 16:57
Citation Envoyé par Njörd Voir le message

Que penses-tu du NewSQL permettant d'avoir les avantages du NoSQL avec les principes ACID ? Trop contraignant pour le big data ?
Je regarde ca en ce moment... tu as des liens de préférence open source sur le sujet ?

J'ai pour ma part l'impression que c'est très possible. Je ne dit pas que les perfs seront géniales, mais ca aurait le mérite de s'intégrer dans des env cloud sur le principe "beaucoup de petite VM pour remplacer un gros serveur"
0  0 
Avatar de alex_vino
Membre émérite https://www.developpez.com
Le 11/11/2013 à 10:38
Citation Envoyé par pmithrandir Voir le message
En tout cas, leur initiative de le mettre en open source montre bien la tendance actuelle de partager les efforts.
Malheuresement ce n'est pas toujours pour seulement "partager ses efforts" et par pure gentillesse, sinon a quoi bon recruter et payer une fortune beaucoup des meilleurs ingénieurs au monde.
0  1 
Avatar de alex_vino
Membre émérite https://www.developpez.com
Le 11/11/2013 à 17:31
Citation Envoyé par Marco46 Voir le message
Si tu regardes la liste des commiters Hadoop, tu as 80% des dev qui sont employés chez Google et Facebook.
Comment faire pour consulter cette liste ?
0  1