Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Twitter libère Storm
Son système de traitement de flux de données et de calcul distribué en temps réel

Le , par Hinault Romaric

0PARTAGES

3  0 
Il y a de cela environ un mois, le célèbre site de micro-blogging Twitter avait acquis la société d’analyse des medias sociaux BlackType et l’ensemble de ses projets.

La firme vient d’annoncer que Storm, l’un des projets les plus importants de BlackType, serait développé et publié gratuitement sous licence open source.

Storm est un projet assez similaire à Hadoop, le système de traitement de données évolutif pour le stockage et le traitement par lots de très grandes quantités de données. Il peut être utilisé pour la résolution des plusieurs problèmes de calcul en temps réel, le traitement de flux de données, etc.

A la différence du framework Hadoop, qui utilise MapReduce avec des fils d’attentes, Storm utilise des "topologies » et traite les messages indéfiniment ou jusqu’à ce qu’ils soient désactivés. La solution est très adaptée pour analyser des flux de données comme des millions de flux provenant de Twitter.

L’application pourra donc être utilisée pour le traitement d’autres flux et bases de données mises à jour en temps réel, pour faire une requête en continu et fournir le flux des résultats, également en temps réel, aux clients. Il pourra également être utilisé pour le traitement des événements complexes (Complex event processing) distribués.

Le lancement de Storm par Twitter est prévu pour le mois prochain lors de la conférence Strange Loop qui se déroulera à Saint-Louis

Source : Twitter

Et vous ?

Que pensez-vous de Storm ? Intéressant ou préférez-vous Hadoop ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de ValCapri
Membre régulier https://www.developpez.com
Le 08/08/2011 à 18:17
Je ne suis pas sûr de bien comprendre ce qu'est Storm et Hadoop.

Il s'agit d'une genre de base de donnée permettant la recherche rapide multi-critère sur un grand de nombre de flux de données?

En fait, on utilise ce genre d'outils pour le data mining? En tiré des statistiques?
0  0 
Avatar de sedryk
Membre habitué https://www.developpez.com
Le 09/08/2011 à 10:12
@ValCapri : non en faite, Storm et Hadoop sont des solutions de traitement de données massive, quelque soit l'origine des données. Pour mieux comprendre je te conseille de lire directement le post sur le blog de Twitter qui reste très simple et très compréhensible.

Personnellement, j'attends le 19 septembre pour en savoir plus mais ce qui est présenté est très intéressant.
0  0 
Avatar de sedryk
Membre habitué https://www.developpez.com
Le 09/08/2011 à 13:15
Citation Envoyé par Traroth2 Voir le message
Un système NoSQL en plus.
Où as-tu lu qu'il s'agissait d'un système NoSQL ?

Il s'agit d'un système pour effectuer des traitements sur des grandes quantités de données. Voici un article sur le blog de backtype qui présente succinctement Storm : http://tech.backtype.com/preview-of-storm-the-hadoop-of-realtime-proce
0  0 
Avatar de Traroth2
Membre chevronné https://www.developpez.com
Le 09/08/2011 à 12:24
Un système NoSQL en plus. C'est très bien, mais je ne suis pas sûr que ça soit une révolution...
0  1