Retrouvez tous ces articles sur : Big data France

Installation d’Hortonworks

Dans cette première partie, est illustrée la mise en place des VMs et des éléments d’infrastructure nécessaires au cluster.

Windows Azure HDInsight est l’une des options les plus simples pour obtenir un cluster Hadoop monté rapidement. De plus, ce service a comme avantage d’utiliser Windows Azure Blob Storage - le stockage Windows Azure, raccourci en ASV - de la même manière que HDFS et ce, de façon transparente. Avec la bêta publique du service, ASV constitue le système de fichier par défaut. Nous relatons, captures d’écran à l’appui, ce qu’il est possible de faire très facilement (et en quelques minutes) avec un tel cluster dans les billets Bienvenue dans la version préliminaire de Windows Azure HDInsight et TUTO - Hadoop arrive dans le portail Windows Azure. 

Il sera abordé dans cette seconde partie l’installation et l’utilisation du cluster Hadoop avec la distribution Hortonworks Data Platform (HDP).

Mise en oeuvre d’Hadoop

Ce tutoriel se décompose en deux parties :

-La première porte sur l’installation d’un cluster « single-node », c’est-à-dire qu’Hadoop fonctionne seulement sur une machine en local.

-La seconde partie porte sur l’installation « multi-node » d’un cluster Hadoop, en utilisant deux machines préalablement installées avec le processus de la première partie.

L’approche de notre seconde partie est la suivante. Grâce à l’installation faite durant notre première partie sur une machine Ubuntu Linux Server 13.04, nous allons créer une image Windows Azure qui nous permettra de dupliquer notre installation et de ne pas reconfigurer tout ce dont il était nécessaire dans la première partie.