Apache Hadoop

4 jours II Code CNCP : 2234 II Certif info : 93835

/Apache Hadoop

Hadoop est un Framework libre et open source écrit en Java destiné à faciliter la création d’applications distribuées au niveau du stockage des données et de leur traitement. C’est un outil complet pour gérer et analyser des données. Cette formation va vous permettre d’avoir une vue d’ensemble sur l’écosystème Hadoop et ses principaux composants ainsi que leur fonctionnement.

Les objectifs de la formation Apache Hadoop

A l’issue de la formation APACHE HADOOP les apprenants auront les capacités de :

  • Connaître toutes les notions liées à Apache Hadoop et de ses principaux composants
  • Comprendre l’architecture Hadoop (HDFS et MapReduce)
  • Avoir une vue d’ensemble des possibilités de développement offerts par les composants Hadoop.
  • Maîtriser l’installation de Hadoo,
  • Comprendre le rôle de chacun des composants et leurs interactions
  • Connaître HDFS, YARN, MapReduce, Oozie, Flume, Zookeeper, Pig, Hive, HBase
  • Comprendre les principes de l’informatique parallèle
  • Avoir une vue d’ensemble de la mise en œuvre d’une infrastructure Hadoop et de son administration et exploitation
  • Utiliser des outils Big Data supplémentaires (Pig, Hive, HBase, etc.)
Lien vers site CPF

Les prérequis de la formation Apache Hadoop

  • Les prérequis nécessaires pour la formation APACHE HADOOP sont :
    • Posséder des connaissances de base en commandes Unix/Linux.
    • Connaissance de Java ou avoir suivi la formation (formation Cegefos :  » Java : les fondamentaux » )
    • Avoir de bonne connaissance sur Hbase

Vous n’avez pas les prérequis nécessaires pour la formation Apache Hadoop? Contactez-nous pour étudier ensemble un parcours sur mesure et garantir ainsi la réussite de votre projet.

Lien vers site CPF

Le public de la formation Apache Hadoop

La formation APACHE HADOOP s’adresse à tout public salarié, demandeur d’emploi ou en reconversion professionnelle, notamment :

  • Directeurs/chefs de projet ou responsable métier
  • Responsable système d’informations
  • Développeurs informatiques
  • Consultants en business intelligence
  • Ingénieurs d’étude, de recherche et développement
  • Architecte système et logiciel
  • Consultants techniques
  • Consultants business
  • Statisticiens et Mathématiciens
  • Data Scientist (analyse de données) ou Data miner (fouilleur des données)
  • Tout développeur ou informaticien souhaitant développer des compétences en analyse de données et BIG DATA
Lien vers site CPF

0

Certif Info

0

Code CNCP

0

Jours

0

Heures

Contenu de la formation
Apache Hadoop

Section 1: Introduction à l’écosystème Hadoop

  • Aborder cette formation
  • Découvrir NoSQL
  • Définir le Big Data
  • Comprendre l’histoire d’Hadoop
  • Parcourir l’écosystème Hadoop
  • Différencier les distributions Hadoop
  • Comprendre le NoSQL
  • Définition du Big Data
  • Architecture de Hadoop
  • L’Écosystème de Hadoop
  • Rôle des différents composants de l’écosystème Hadoop
  • Rôle des collecteurs de données
  • Distributions d’Hadoop

Section 2: Installation de l’environnement Hadoop

  • Installation de l’environnement Hadoop VM Ubuntu
  • Installation de l’environnement Hadoop sur Windows
  • Différencier les distributions Hadoop
  • Découvrir Cloudera Hadoop
  • Démarrer une QuickStart VM
  • Travaux pratique: Installation Hadoop

Section 3: HDFS – La couche de stockage

  • Comprendre le HDFS
  • Découvrir HadoopFS
  • Assimiler les principes du HDFS
  • Appréhender les services HDFS
  • Comprendre les opérations HDFS
  • Configuration de HDFS
  • Demarrage de HDFS
  • Administrer le cluster HDFS
  • Découvrir la gestion des services HDFS
  • 0Manipuler les fichiers en ligne de commande
  • Exécuter des opérations en Java
  • Utiliser les InputStream Java
  • Accéder à HDFS avec WebHDFS
  • Caractéristiques de HDFS
  • Architecture de HDFS
  • Rôle de HDFS
  • Opérations HDFS
  • Listing des fichiers dans HDFS
  • Insertion des données dans HDFS
  • Extraction des données du HDFS
  • Arrêt du HDFS

Section 4: Fonctionnement de MapReduce

  • Appréhender les principes de base
  • Découvrir la fonction map()
  • Utiliser la fonction reduce()
  • Concevoir un MapReduce
  • Développer le mapper
  • Développer le reducer
  • Créer un jeu de données
  • Créer le driver
  • Lancer un MapReduce en Java
  • Suivre l’évolution du MapReduce
  • Développer un MapReduce en PHP
  • Lancer des MapReduce avec Hadoop Streaming
  • Principes de base de MapReduce
  • Architecture MapReduce
  • Fonction map()
  • Fonction reduce()
  • Conception d’un MapReduce
  • Développer le mapper
  • Développer le reducer
  • Création d’un jeu de données
  • Création d’un driver
  • Lancer un MapReduce en Java
  • Suivi de l’évolution du MapReduce
  • Développement d’un MapReduce en PHP
  • Lancement des MapReduce avec Hadoop Streaming
  • TP : Fonctionnement de MapReduce

Section 5: Base de données NoSQL HBase

  • Identifier les cas d’utilisation de HBase
  • Comprendre le modèle Hbase
  • Administrer HBase
  • Appréhender les opérations HBase
  • Gérer les services avec des interfaces web
  • Lancer des commandes HBase dans le terminal
  • Filtrer les résultats d’un scan
  • Utiliser HBase en Java
  • Utiliser HBase dans les MapReduce
  • Définition de Hbase
  • Hbase avec Hadoop
  • Cas d’utilisation de HBase
  • Comprendre le modèle Hbase
  • Installation de Hbase
  • Architecture
  • Composants Hbase (Region, Region Server, Region Split)
  • Lecture et écriture dans Hbase
  • API Shell
  • API Java
  • TP : Base de données NoSQL HBase

Section 6: Apache Oozie -Ordonnanceur de WorkFlow

  • Définition de Oozie
  • Caractéristiques Oozie
  • Fonctionnement de Oozie
  • Actions Oozie
  • Oozie Job
  • Oozie workflow
  • Coordinateur Oozie
  • Paramètre Oozie
  • Monitoring Oozie
  • Packaging et déploiement d’une application de workflow Oozie

Section 7: Collecte de données avec Apache Sqoop

  • Introduire scoop anglais
  • Importer les données avec scoop
  • Définition de Sqoop
  • Cible des imports dans le cluster
  • Architecture de Sqoop
  • Fonctionnement de Sqoop
  • Exemple d’import vers HDFS
  • Exemples d’import vers Hive
  • Exemple d‘exports

Section 8 : travaux pratiques: Développement d’une application Big Data avec Hadoop

  • Mission 1: Conception de l’application
  • Découper l’application
  • Exploiter les données
  • Concevoir la base de données HBase
  • Parser le fichier d’entrée dans un mapper
  • Écrire dans HBase avec un reducer
  • Mettre en place des clés composites
  • Utiliser les clés composites
  • Lancer un modèle MapReduce d’import

Mission 2: Développement des modèles MapReduce

  • Lire les données de HBase dans un mapper
  • Agréger les données dans un reducer
  • Suivre les modèles MapReduce
  • Déboguer les modèles MapReduce
  • Explorer les sources d’Hadoop
  • Réaliser des jointures de données
  • Résoudre le problème du secondary sort
  • Optimiser ses modèles MapReduce

Mission 3: Développement des modèles MapReduce

  • Mettre en place un workflow Oozie
  • Lancer un workflow Oozie
  • Filtrer les données de HBase
  • Exporter dans MySQL grâce à Sqoop
  • Lancer son workflow avec l’API HTTP REST
  • Coupler l’application avec une interface web

Une attestation d’assiduité sera délivrée après la validation de toutes les compétences du module Apache Hadoop.

Modalités De Formations

APACHE HADOOP

La formation certifiante Apache Hadoop est disponible en 3 modalités : E-learning tutoré, Blended Learning et en présentiel.

FOAD / E-Learning tutoré

La formation certifiante Apache Hadoop est disponible en e-learning tutoré. Vous serez accompagné par un formateur / tuteur tout au long de la formation.

Blended-Learning

La formation Apache Hadoop est disponible en Blended learning. La partie apprentissage se déroule en e-learning et les projets fil rouge en présentiel.

Présentiel

Le module de formation Apache Hadoop est disponible en présentiel ou en distanciel. La formation sera animée par un formateur à distance ou en classe.

Financement et Éligibilité

de la formation Apache Hadoop

CPF

CPF « Compte Personnel de Formation.

VAE

VAE: Validation des Acquis de l’Expérience.

AIF

AIF : Aide Individuelle à la Formation par Pôle Emploi.

CPF de transition

CPF de transition pour une Reconversion Professionnelle.

Contrat PRO

Contrat d’alternance ou de Professionnalisation.

POEc

Préparation Opérationnelle Emploi Collective.

PDC

Plan de Développement de Compétences de l’entreprise.

AFPR

Action de Formation Préalable à l’Embauche.

POEi

Préparation Opérationnelle Emploi Individuelle.

Besoin d'un