Apache Hadoop 1.0.0 est disponible

Les rubriques (actu, forums, tutos) de Développez
Tags
Réseaux sociaux


 Discussion forum

Le , par Hinault Romaric, Responsable Actualités
Les développeurs d’Apache Hadoop, le Framework Web open source d’analyse des gros volumes de données, ont annoncé la disponibilité de la première version stable de la plateforme.

Hadoop est un framework java libre basé sur Map reduce destiné aux applications distribuées et à la gestion intensive des données. Il permet le traitement de données évolutif pour le stockage et le traitement par lot de très grandes quantités de données (Big Data).



Après plus de six années de développement, Hadoop vient de franchir une étape importante de son développement en passant à la version « 1.0.0 ».

Cette version basée sur la branche sécurisée Hadoop 0.20 apporte plusieurs améliorations de performances et des nouvelles fonctionnalités dont l’intégration et la prise en charge complète de Google Big Table, le système de gestion de bases de données compressées, haute performance de Google.

Hadoop 1.0.0 propose également des améliorations importantes des fonctions de sécurité pour le HDFS (Hadoop Distributed File System), du système de fichiers WebHDFS qui permet désormais d’accéder à un volume HDFS via le protocole HTTP et du framework de calcul distribué MapReduce. La sécurité sur les nœuds est assurée par l’authentification Kerberos.

La plateforme déjà très populaire pour l’analyse des « Big data » est donc désormais plus fiable, stable et servira de base pour les principaux fournisseurs de solutions sous Hadoop.

Une popularité qui aurait même entrainé l’abandon de sa propre technologie de traitement de données parallèles et distribuées LINQ to HPC par Microsoft, pour se concentrer sur le support d’Hadoop dans ses produits (SQL Server, SQL Server Parallel Data Warehouse, Windows Azure, etc.).

Télécharger Apache Hadoop 1.0.0

Source : Notes de version

Et vous ?

Que pensez-vous de cette version ?


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de Scarfy Scarfy
http://www.developpez.com
Invité régulier
le 04/01/2012 14:34
Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ? A part travailler au CERN (exploitation des données recueillies lors d'une collision de particules) ou à la Redoute (data mining sur les données de ventes), je vois pas trop...
Avatar de Elendhil Elendhil
http://www.developpez.com
Membre éprouvé
le 04/01/2012 16:47
Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ?

Je n'utilise pas mais c'est uniquement pour stocker/traiter des données de tailles considérables plusieurs TB , pour des bases de quelques GB cela n'a pas d’intérêt.

Donc toutes les grosses sociétés que ce soit les supermarchés pour les statistiques de consommation grâce aux cartes fidélités dates,heures, fréquences des achats ect... bref les habitudes de consommation sur des millions de clients.

Ou encore tous les services internet qui ont énormément de données et qui en plus on besoin de les traiter extrêmement rapidement comme google , facebook , twitter, amazon , la sncf , les jeux en lignes ...

il est surement possible de traiter la plupart de ces cas avec des bdd relationnels classiques mais cela va engendrer des coûts d'infrastructures , de développement, de maintenance bien plus important.
Avatar de euskadi_21 euskadi_21
http://www.developpez.com
Nouveau Membre du Club
le 12/01/2012 15:48
Mon projet l'utilise aussi et surtout pour ses performances en calcul distribué. Il permet très facilement d'exploiter pleinement une grille de calcule.

Dans notre cas une centaine de coeurs.
Avatar de walt_fr_nice walt_fr_nice
http://www.developpez.com
Invité de passage
le 22/10/2013 10:44
Utilisé pour la compagnie aérienne nationale (application en cours de finalisation) en remplacement de Java/hibernate qui attaquait une DB Oracle de 5To. Problèmatiques de performances (goulot d'étranglement puissance serveur unique Oracle et nb de connexions simultannées)
Le HDFS Hadoop stocke 3 ans d'historique de réservations et vols: 10To environ (utiles, hors réplication). si besoin de perfs on augmente le nb de serveurs Linux (Dell standard). Actuellement 14 serveurs (8 CPU dual core 2.6Ghz/74Go RAM). Chargement en DB Oracle seulement après tous les traitements (ou presque, reste quelques traitements sur la DB) avec Sqoop ou SQLLoader. Plus de pb de perf !
Avatar de koukounounou koukounounou
http://www.developpez.com
Invité de passage
le 30/10/2013 12:12
je suis doctorante en informatique , je travaille sur les entrepôts de données dans le cloud computing . Y a t'il qlq'un qui peut m'aider comment je peux utiliser Hadoop pour manipuler un entrepot de donnée?
Offres d'emploi IT
Développeur passionné zend framework
CDI
INTEAM - Ile de France - Paris (75000)
Parue le 14/10/2014
Sécurité des projets et développement h/f
Stage
Société Générale France - Ile de France - Paris (75000)
Parue le 07/10/2014
Chef de Projet Informatique MOE H/F
CDI
BNP Paribas - Ile de France - MONTREUIL (93100)
Parue le 17/10/2014

Voir plus d'offres Voir la carte des offres IT
 
 
 
 
Partenaires

PlanetHoster
Ikoula