IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Google annonce la disponibilité du SDK de Cloud Dataflow
Pour la communauté open source

Le , par Stéphane le calme

48PARTAGES

0  0 
En juin dernier, durant sa conférence dédiée aux développeurs, Google présentait au public Google Cloud Dataflow, un outil qui ambitionne de le mettre au même pied d’égalité que la Kinesis Storm Spout d’Amazon en permettant la construction de pipelines (flux de données) à la volée ou en mode batch, d’en contrôler l’exécution, et de transformer et d'analyser les données, le tout dans le cloud sans avoir à se soucier de la « tuyauterie » derrière.

L’entreprise a décrit Cloud Dataflow comme une technologie qui s’appuie sur MapReduce et d’autres technologies plus récentes comme FlumeJava (une librairie Java dont l'objectif est de fournir un mécanisme simplifié pour mettre en oeuvre une série d'opérations MapReduce) et Millwheel (un framework pour construire des applications de traitement de flux), que Google a utilisé en interne pour analyser des flux de données très importants.

En combinant des éléments de toutes ces technologies, Google espère offrir un service de traitement de données qui permettra aux entreprises d’obtenir la souplesse nécessaire pour faire une analyse en mode batch sur de grands ensembles de données ainsi qu’une analyse quasiment en temps réel sur les données tandis qu’elles s’ajoutent dans la base de données. Il permettra également aux entreprises de préparer les données à une utilisation par d'autres outils et services d'analyse tels que le BigQuery de Google.

Avec la prolifération des services de Cloud computing, des appareils mobiles et des technologies de capteurs, les entreprises sont désormais capables de récolter un volume de données de plus en plus important en provenance de diverses sources. Le défi consiste à trouver un moyen d'organiser et de gérer les données afin de pouvoir en générer une valeur pour l'entreprise.

Bonne nouvelle pour elles donc puisque Google a annoncé avoir mis à la disposition de la communauté open source le SDK Java de son outil Cloud Dataflow dans le cadre de son effort pour stimuler le développement d’applications autour de cette technologie.

C’est l’ingénieur logiciel Sam McVeety qui s’est chargé de l’annonce sur le blog de l’entreprise et qui a expliqué que « les modèles de programmation réutilisables sont un facteur clé de l’efficacité du développeur. Le SDK de Cloud Dataflow introduit un modèle unifié pour le traitement par lots et flux de données » dont les développeurs pourront tirer parti de façons innovantes. « Nous sommes impatients de collaborer afin de construire un système distribué qui permette le traitement de données pour les utilisateurs de tous les milieux » a-t-il expliqué.

« La valeur des données repose sur l’analyse et des renseignements qui peuvent en résulter » a expliqué McVeety avant de rajouter que « transformer des données en renseignements peut être très difficile à cause du fait que les ensembles de données deviennent de plus en plus grands et sont distribués à travers des systèmes de stockage disparates. Ajoutez à cela la demande croissante pour l'analyse en temps réel, et les obstacles à l'extraction de valeur à partir d'ensembles de données deviennent un énorme défi pour les développeurs ».

télécharger le SDK Java de Cloud Dataflow

Source : blog Google

Et vous ?

Avez-vous déjà utilisé Cloud Dataflow ? Qu'en pensez-vous ?

Une erreur dans cette actualité ? Signalez-nous-la !