Mise en place d’un Data Lake

2 jours II Code CNCP : 2234 II Certif info : 93835

/Mise en place d’un Data Lake

Dans cette formation vous apprendrez à mettre en place un Data Lake. Il s’agit d’un dépôt de données brutes accessibles en lecture seule qui doit être la source de données de référence utilisée par les autres applications de traitement de données dans un système Big Data. C’est donc un composant fondamental de toute architecture Big Data.

Les objectifs de la formation Mise en place d'un Data Lake

A l’issue de la formation « Mise en place d’un Data Lake », les apprenants auront les capacités de :

  • Concevoir un data lake
  • Connaître de plus prêt l’Architecture et les concepts du Data Lake
  • Utiliser l’architecture Lambda avec un Data Lake
  • Procéder à l’acquisition de données de données par lots avec Apache Sqoop
  • Procéder à l’acquisition de données de flux de données à l’aide d’Apache Flume
  • Utiliser Apache Kafka dans la couche de messagerie
  • Traiter des données à l’aide d’Apache Flink
  • Stocker les donnée avec Apache Hadoop (HDFS)
  • Indexer les données à l’aide d’Elasticsearch
Lien vers site CPF

Les prérequis de la formation Mise en place d'un Data Lake

Les prérequis nécessaires pour la formation MISE EN PLACE D’UN DATA LAKE sont :

  • Connaissances en Big Data , de solides connaissances de l’écosystème
  • Hadoop ainsi que des connaissances élémentaires en réseaux

Vous n’avez pas les prérequis nécessaires pour la formation Mise en place d’un Data Lake? Contactez-nous pour étudier ensemble un parcours sur mesure et garantir ainsi la réussite de votre projet.

Lien vers site CPF

Le public de la formation Mise en place d'un Data Lake

La formation certifiante « Mise en place d’un Data Lake » , s’adresse à tout public salarié, demandeur d’emploi ou en reconversion professionnelle, notamment:

  • Directeurs/chefs de projet ou responsable métier
  • Responsable système d’informations, Développeurs informatiques
  • Consultants en business intelligence
  • Ingénieurs d’étude, de recherche et développement
  • Architecte système et logiciel, Consultants techniques
  • Consultants business
  • Statisticiens et Mathématiciens
  • Data scientist (analyse de données) ou Data miner (fouilleur des données)
  • Tout développeur ou informaticien souhaitant développer des compétences en analyse de données et BIG DATA
Lien vers site CPF

0

Certif Info

0

Code CNCP

0

Jours

0

Heures

Contenu de la formation
Mise en place d’un Data Lake

Introduction aux données d’entreprise

  • Données d’entreprise
  • Importance de la qualité de la donnée
  • Données du Big data
  • Architectures Big Data

Atelier pratique

Introduction aux Data lake

  • Présentation du Data lake
  • Pertinence du Data lake dans une entreprise
  • Avantage du Data lake
  • Fonctionnement d’un Data Lake
  • Différence entre le Data Lake et de Data Warehouse
  • Défis du du Data lake
  • Approches pour créer un Data Lake
  • Conclusion

Atelier pratique

Architecture du Data Lake

  • Architecture du Data lake
  • Concepts clés du Data Lake
  • Étapes de maturité du Data Lake
  • Meilleures pratiques de l’architecture Data Lake

Atelier pratique

L’architecture Lambda basée sur Data Lake

  • Introduction
  • Couche d’ingestion de données
  • Speed layer – traitement des données en temps quasi réel
  • Couche de stockage de données – stocker toutes les données
  • Serving layer – livraison et exportation de données
  • Acquisition layer – Couche d’acquisition de données
  • Messaging Layer – Couche de livraison de données
  • Ingestion layer – Couche d’ingestion de données
  • Exploration de la couche Lambda
  • Magasins de données relationnelles

Atelier pratique

Écosystème Hadoop pour la mise en œuvre d’un Data lake

  • Introduction
  • Distributions Hadoop
  • Facteurs de sélection d’un stack Big Data pour les entreprises
  • Écosystème Hadoop pour un Data lake

Acquisition de données de données par lots avec Apache Sqoop

  • Introduction
  • Contexte dans Data Lake – Acquisition de données
  • Fonctionnement de Sqoop
  • Importation de données à l’aide de Sqoop
  • Exportation de données à l’aide de Sqoop
  • Connecteurs Sqoop

Atelier pratique

Acquisition de données de flux de données à l’aide d’Apache Flume

  • Introduction
  • Contexte dans Data Lake: acquisition de données
  • Initiation à la Stream Data (Flux de données)
  • Données Batch Vs données stream
  • Acquisition de données de flux – cartographie technologique
  • Fonctionnement de Flume
  • Sqoop Vs Flume

Atelier pratique

Couche de messagerie utilisant Apache Kafka

  • Introduction
  • Contexte dans Data Lake – couche de messagerie
  • Couche de messagerie
  • Couche de messagerie – cartographie technologique
  • Cycle de vie du flux de données

Atelier pratique

Traitement des données à l’aide d’Apache Flink

  • Introduction
  • Contexte dans un lac de données – couche d’ingestion de données
  • Couche d’ingestion de données
  • Data Ingestion Layer – cartographie technologique
  • Fonctionnement de Flink
  • Architecture Flink

Atelier pratique

Magasin de données à l’aide d’Apache Hadoop

  • Introduction
  • Contexte pour Data Lake – Stockage de données et lambda Batch Layer
  • Stockage de données et Lambda Batch Layer
  • Stockage de données et couche Lambda Batch – cartographie technologique
  • Fonctionnement de Hadoop
  • Architecture Hadoop

Atelier pratique

Magasin de données indexé à l’aide d’Elasticsearch

  • Introduction
  • Contexte dans Data Lake: stockage de données et lambda Speed layer
  • Data Storage et Lambda Speed Layer
  • Data Storage et Lambda Speed Layer: cartographie technologique
  • Définition d’Elasticsearch
  • Fonctionnement d’Elasticsearch
  • Principes de l’architecture de base d’Elasticsearch

Atelier pratique

Une attestation d’assiduité sera délivrée après la validation de toutes les compétences du module Mise en place d’un Data Lake.

Modalités De Formations

Mise en place d’un Data Lake

La formation certifiante Mise en place d’un Data Lake est disponible en 3 modalités : E-learning tutoré, Blended Learning et en présentiel.

FOAD / E-Learning tutoré

La formation certifiante Mise en place d’un Data Lake est disponible en e-learning tutoré. Vous serez accompagné par un formateur / tuteur tout au long de la formation.

Blended-Learning

La formation Mise en place d’un Data Lake est disponible en Blended learning. La partie apprentissage se déroule en e-learning et les projets fil rouge en présentiel.

Présentiel

Le module de formation Mise en place d’un Data Lake est disponible en présentiel ou en distanciel. La formation sera animée par un formateur à distance ou en classe.

Financement et Éligibilité

de la formation Mise en place d’un Data Lake

CPF

CPF « Compte Personnel de Formation.

VAE

VAE: Validation des Acquis de l’Expérience.

AIF

AIF : Aide Individuelle à la Formation par Pôle Emploi.

CPF de transition

CPF de transition pour une Reconversion Professionnelle.

Contrat PRO

Contrat d’alternance ou de Professionnalisation.

POEc

Préparation Opérationnelle Emploi Collective.

PDC

Plan de Développement de Compétences de l’entreprise.

AFPR

Action de Formation Préalable à l’Embauche.

POEi

Préparation Opérationnelle Emploi Individuelle.

Besoin d'un