Architecture distribuée : Que pensez vous de la solution Open Source Java Hadoop
Et de son Distributed Filesystem (HDFS) ?

Le , par *alexandre*, Inactif
Hadoop (soutenu par IBM, Yahoo, et Apache notamment) reprend les travaux des recherches publiés par google sur le model MapReduce.

La prochaine conférence de Hadoop Summit '09 (10 juin) : http://developer.yahoo.com/events/hadoopsummit09/

Qui utilise Hadoop ?

Résumé de ce qu'est le modèle MapReduce : http://labs.google.com/papers/mapreduce.html (Document librement utilisable )

C'est un peu un fourre tout mais voici des critiques sur l'utilisation de MapReduce (ca date un peu) : http://www.databasecolumn.com/2008/0...step-back.html

Et une petite présentation des BigTable de HBase (sous projet Hadoop) : http://wiki.apache.org/hadoop-data/a..._ets_clean.pdf

A lire aussi :
Le livre Pro Hadoop est disponible chez Apress
Le cloud de Sun va-t-il s'appuyer sur la solution OpenSource Hadoop ?
Microsoft Azure favorise l'interopérabilité avec la mise à disposition de jdotnetservices


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 18/06/2009 à 22:00
bon un peu d'informations (de la part d'un ancien de chez google) sur le support des transactions avec hadoop et les produits qui en sont dérivés dont fait partie cascading et hbase, ils communiquent en utilisant IPC

IPC c'est quoi, c'est tout simplement les API bas niveau permettant au système d'exploitation de communiquer entre les différents processus des applications

cela implémente la base de la programmation concurrente donc les semaphores , rendez-vous , reader writer et autres ...

Par contre hbase implémente au niveau de la gestion concurrente des données la forme dites optimiste : on se base sur le fait que très peu de cas vont déboucher sur des éléments concurrents
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 24/06/2009 à 21:38
Pour ceux qui seraient intéressé -toujours sur hadoop- les slides de cloudera de la dernière conférence sur hadoop

http://www.cloudera.com/blog/2009/06...-west-roundup/
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 28/06/2009 à 14:14
Et également pour ceux qui souhaitent développer une application basé sur l'auto apprentissage, ce projet est également basé sur hadoop

http://lucene.apache.org/mahout/
Avatar de wiztricks wiztricks - Modérateur https://www.developpez.com
le 30/06/2009 à 20:08

que dire de plus?
- W
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 03/10/2009 à 11:25
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 03/10/2009 à 16:54
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 11/10/2009 à 9:56
Un projet qui a l'air super intéressant pour de l'analyse en temps réel

http://hadoop.apache.org/chukwa/
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 01/11/2009 à 8:33
Avatar de wiztricks wiztricks - Modérateur https://www.developpez.com
le 01/11/2009 à 11:29
L'URL des slides est http://slidesha.re/2bPngz
Le titre pourrait être "Pig" puisque c'est plus de cela qui permet de faire des calculs analytiques sur de gros stocks de différents types de données.
En tous cas, c'est pas mal: merci pour l'info
- W
Avatar de mfiguiere mfiguiere - Nouveau Candidat au Club https://www.developpez.com
le 25/11/2009 à 12:28
Hadoop et HBase ont été abordé la semaine dernière à Devoxx au travers une présentation rapide et une discussion qui fut l'occasion de questionner un architecte utilisant HBase en production depuis 2 ans : un retour d'expérience très appréciable sur cette technologie émergente...

Je viens de publier un article détaillant ce retour d'expérience :

http://blog.xebia.fr/2009/11/18/devo...ql-avec-hbase/
Avatar de *alexandre* *alexandre* - Inactif https://www.developpez.com
le 12/12/2009 à 13:27
Citation Envoyé par mfiguiere  Voir le message
Hadoop et HBase ont été abordé la semaine dernière à Devoxx au travers une présentation rapide et une discussion qui fut l'occasion de questionner un architecte utilisant HBase en production depuis 2 ans : un retour d'expérience très appréciable sur cette technologie émergente...

Je viens de publier un article détaillant ce retour d'expérience :

http://blog.xebia.fr/2009/11/18/devo...ql-avec-hbase/

Excellent article. Petite remarque la communauté est très active notamment du à yahoo, et également dans les listes de diffusion.
Offres d'emploi IT
Ingénieur H/F
Safran - Ile de France - Moissy-Cramayel (77550)
Spécialiste systèmes informatiques qualité et référent procédure H/F
Safran - Ile de France - Colombes (92700)
Responsable transverse - engagement métiers H/F
Safran - Ile de France - Corbeil-Essonnes (91100)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Accueil