GRATUIT

Vos offres d'emploi informatique

Développeurs, chefs de projets, ingénieurs, informaticiens
Postez gratuitement vos offres d'emploi ici visibles par 4 000 000 de visiteurs uniques par mois

emploi.developpez.com

Google annonce la disponibilité du SDK de Cloud Dataflow
Pour la communauté open source

Le , par Stéphane le calme, Chroniqueur Actualités
En juin dernier, durant sa conférence dédiée aux développeurs, Google présentait au public Google Cloud Dataflow, un outil qui ambitionne de le mettre au même pied d’égalité que la Kinesis Storm Spout d’Amazon en permettant la construction de pipelines (flux de données) à la volée ou en mode batch, d’en contrôler l’exécution, et de transformer et d'analyser les données, le tout dans le cloud sans avoir à se soucier de la « tuyauterie » derrière.

L’entreprise a décrit Cloud Dataflow comme une technologie qui s’appuie sur MapReduce et d’autres technologies plus récentes comme FlumeJava (une librairie Java dont l'objectif est de fournir un mécanisme simplifié pour mettre en oeuvre une série d'opérations MapReduce) et Millwheel (un framework pour construire des applications de traitement de flux), que Google a utilisé en interne pour analyser des flux de données très importants.

En combinant des éléments de toutes ces technologies, Google espère offrir un service de traitement de données qui permettra aux entreprises d’obtenir la souplesse nécessaire pour faire une analyse en mode batch sur de grands ensembles de données ainsi qu’une analyse quasiment en temps réel sur les données tandis qu’elles s’ajoutent dans la base de données. Il permettra également aux entreprises de préparer les données à une utilisation par d'autres outils et services d'analyse tels que le BigQuery de Google.

Avec la prolifération des services de Cloud computing, des appareils mobiles et des technologies de capteurs, les entreprises sont désormais capables de récolter un volume de données de plus en plus important en provenance de diverses sources. Le défi consiste à trouver un moyen d'organiser et de gérer les données afin de pouvoir en générer une valeur pour l'entreprise.

Bonne nouvelle pour elles donc puisque Google a annoncé avoir mis à la disposition de la communauté open source le SDK Java de son outil Cloud Dataflow dans le cadre de son effort pour stimuler le développement d’applications autour de cette technologie.

C’est l’ingénieur logiciel Sam McVeety qui s’est chargé de l’annonce sur le blog de l’entreprise et qui a expliqué que « les modèles de programmation réutilisables sont un facteur clé de l’efficacité du développeur. Le SDK de Cloud Dataflow introduit un modèle unifié pour le traitement par lots et flux de données » dont les développeurs pourront tirer parti de façons innovantes. « Nous sommes impatients de collaborer afin de construire un système distribué qui permette le traitement de données pour les utilisateurs de tous les milieux » a-t-il expliqué.

« La valeur des données repose sur l’analyse et des renseignements qui peuvent en résulter » a expliqué McVeety avant de rajouter que « transformer des données en renseignements peut être très difficile à cause du fait que les ensembles de données deviennent de plus en plus grands et sont distribués à travers des systèmes de stockage disparates. Ajoutez à cela la demande croissante pour l'analyse en temps réel, et les obstacles à l'extraction de valeur à partir d'ensembles de données deviennent un énorme défi pour les développeurs ».

télécharger le SDK Java de Cloud Dataflow

Source : blog Google

Et vous ?

Avez-vous déjà utilisé Cloud Dataflow ? Qu'en pensez-vous ?


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :
Offres d'emploi IT
Développeur Sharepoint (H/F) - IDF
Synchrone technologies - Ile de France - Paris
Architecte Système LINUX H/F
EXPERIS IT - Ile de France - PARIS
Ingénieur Développement JAVA / JEE orienté Finance H/F
Talan - Ile de France - Paris (75008)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Accueil