Expertise

Data Engineering et Big Data

4.9/5

 5/5

Concevez, mettez en place et gérez des pipelines de données à grande échelle !

Objectifs pédagogiques

Notre programme de formation en Data Engineering et Big Data a pour objectif de fournir aux participants les compétences nécessaires pour concevoir, mettre en place et gérer des pipelines de données à grande échelle. Les participants apprendront à utiliser les technologies de pointe telles que Databricks, Hadoop, Spark et Kafka pour collecter, stocker, traiter et analyser des données volumineuses.

Acquérir les compétences nécessaires pour maîtriser les solutions Cloud d’Amazon AWS et Google Cloud, ainsi que la surveillance de l’activité des serveurs. Apprendre également à développer et manipuler ses propres API.
Apprendre à mettre en production un projet de données, en découvrant les notions de dockerisation, de clusters Kubernetes et les apports des solutions Hadoop. Comprendre l’architecture des applicatifs Hadoop et identifier les cas d’usage des solutions Hadoop.
Apprendre à manipuler les bases de données SQL et NoSQL telles que MongoDB, ElasticSearch et Neo4J, ainsi que la création d’un Data Streaming Pipeline et la maîtrise de l’utilisation de Kafka. Mise en pratique avec un projet de données pour consolider les compétences acquises.

Modalités et moyens pédagogiques

Notre méthode pédagogique combine des apports théoriques, des exemples concrets et des cas pratiques avec l’expertise de nos formateurs pour offrir une formation complète et engageante, qu’elle soit dispensée en visioconférence ou en présentiel.

Dans le cadre de notre programme de formation en Data Engineering et Big Data, nous réalisons une analyse approfondie des besoins de chaque participant afin de personnaliser leur parcours de formation. Des évaluations régulières sont mises en place tout au long du parcours pour mesurer les progrès accomplis, ainsi qu’une évaluation finale pour évaluer les connaissances acquises.

Niveau requis

Connaissance de base en programmation : les participants doivent être familiarisés avec au moins un langage de programmation tel que Python ou Java.
Connaissance des bases de données relationnelles et SQL.
Connaissance en système d’exploitation Linux et lignes de commandes.

Public concerné

Data Scientists
Data Analysts
Directeur(trice) des systèmes d’information (DSI)
Responsable technique
Chef(fe) de projet technique
Responsable de l’ingénierie logicielle
Directeur(trice) de l’ingénierie
Responsable de l’architecture informatique

Programme détaillé

Module 1 – Cloud & SI

Acquérir une connaissance approfondie des solutions cloud Amazon AWS et Google Cloud.
Apprendre à monitorer l’activité des serveurs pour assurer une gestion optimale des ressources cloud.
Développer et manipuler des API pour créer des applications cloud natives.

Module 2 – Mise en production

Comprendre les fondamentaux de la mise en production de projets Data.
Découvrir les notions de dockerisation et de clusters kubernetes pour une gestion efficace des conteneurs.
Acquérir les compétences nécessaires pour déployer et gérer des applications sur des serveurs cloud.

Module 3 – Databricks vs Hadoop

Comprendre les fondamentaux de Databricks et les différentes solutions qu’elle propose.
Savoir comment utiliser les outils de Databricks pour traiter de gros volumes de données.
Apprendre à créer et exécuter des pipelines de données pour des cas d’utilisation spécifiques.
Écosystème Hadoop. Pouvoir comprendre l’architecture des applicatifs Hadoop et savoir quels sont les apports et les cas d’usage des solutions Hadoop.

Module 4 – Base de données SQL/NoSQL

Apprendre à manipuler les bases de données SQL telles que MongoDB, ElasticSearch et Neo4J.
Acquérir des compétences pour modéliser des données SQL et NoSQL pour différents cas d’utilisation.
Savoir comment interroger et mettre à jour des bases de données SQL et NoSQL.

Module 5 – Data Streaming

Apprendre à créer un pipeline de streaming de données pour répondre à des cas d’utilisation spécifiques.
Maîtriser l’utilisation de Kafka pour l’intégration de données en temps réel.
Savoir comment traiter et stocker les données en streaming pour une utilisation ultérieure.

Module 6 – Mise en pratique avec projet Data Engineering

Mettre en pratique les compétences acquises tout au long de la formation en travaillant sur un projet data réel.
Concevoir, implémenter et déployer un pipeline de données pour un cas d’utilisation spécifique.
Travailler en équipe pour mener à bien le projet et le présenter à la fin de la formation.