Big Data : architecture et infrastructure
Objectifs pédagogiques
- Maîtriser les aspects fondamentaux de Big Data
- Maîtriser des éléments clés liés aux architectures des SI
- Pouvoir proposer des architectures répondant aux besoins du client
- Comprendre les différents cas d’usage et les outils correspondants
- Avoir une vision globale des différents outils et Framework
- Mettre en pratique les connaissances sur des problématiques réelles
Public cible
- Administrateurs de clusters Hadoop
- DBA
- Ingénieurs systèmes et réseaux
- Développeurs
Prochaines Sessions
Inscrivez-vous dès maintenant
Besoin urgent ? Demandez une session personnalisée (délai min. 15-20 jours ouvrés)
Devis personnaliséProgramme Détaillé
- Introduction au Big Data
- Les 5V du Big Data
- Technologies de référence du Big Data
- Les technologies concernées
- Les outils
- Les langages : Hortonworks, MapR, Cloudera, IBM Watson
- Démystification du Big Data
- Les acteurs principaux
- Les différents métiers du Big Data
- Différences entre BI, Big Data et Data Science
- Exemples pratiques
- Limites des architectures classiques
- La nouvelles architecture Big Data et son impact sur le SI
- Cycle de vie de la donnée
- Par quelles transformations passe-t-elle ? Comment la gouverner ?
- Les principaux modèles d’architecture d’un SI Big Data
- Définir le “Data Lake” ?
- Le data lake : une nouvelle philosophie pour le stockage et le traitement de la donnée
- Les avantages du data lake et centralisation des données
- Dimensionner l’infrastructure
- Mesurer la scalabilité du système ?
- Cycle de vie d’un projet Big Data
- Cas d’usage, mise en situation
- Projets, applications, plateformes
- Solutions de stockage des données
- Considérations Hardware
- Stockage
- CPU
- Mémoire
- Réseau
- Systèmes distribués
- La science et l'art de l'analyse prédictive
- Problématiques et enjeux
- Des données cohérentes, disponibles et tolérantes aux pannes ?
- Les architectures massivement parallèles
- L’ouverture aux traitements complexes (datamining, machine learning, etc.)
- Paradigmes de calculs distribués
- Les bases NoSQL et le calcul distribué (exemple avec MongoDB)
- Liens entre infrastructure et qualité des données
- Les 4 V
- Base à chaud, base à froid
- Les apports d’un outil de Dataquality
- L'utilité d'un ETL
- Illustration via Talend Data Integration
- Analyser les données en les fusionnant avec les données internes
- Le Master Data Management (MDM)
- Type de déploiement
- Installation d'Hadoop
- Installation d'autres composants (Hive, Pig, HBase, Flume…)
- Différences entre les distributions Cloudera, Hortonworks et MapR
- Le système de fichiers distribué de Hadoop (HDFS)
- MapReduce
- YARN
- Spark
- NoSQL (Cassandra, MongoDB)
- NoSQL Vs SGBD Relationnels
- Classification des bases de données NoSQL selon leurs types et leurs cas d'usages
- Spark MLIB
- Mahout
- Hadoop Streaming
- Pig et MapReduce
- Hadoop Image Processing Interface (HIPI)
- Suivi de charges
- Journaux (jConsole)
- Gestion des nœuds
- Accès JMX
- Mise en œuvre d'un client JMX
- Administration HDFS
- Stockage des fichiers : fsck, dfsadmin
- Gestion centralisée de caches avec Cacheadmin
- Supervision des éléments par le NodeManager
- Monitoring graphique avec Ambari, Kibana, Cloudera Manager
- Visualisation des alertes en cas d'indisponibilité d'un nœud
- Configuration des logs avec log4j
- Notion de Streaming
- Objectifs, principe de fonctionnement : stream processing
- Présentation des Discretized Streams (DStreams)
- Source de données : HDFS, Flume, Kafka, …
- Manipulation de l'API
- Comparaison avec Apache Storm
- Signes d’alerte pour mieux gérer la gouvernance et la sécurité des données
- Que faire si vous identifiez ces signes d’avertissement
- La sécurité et le contrôle d’accès Kerberos & Knox
- Atlas et Ranger pour la sécurité et la gouvernance
Approche pédagogique
Ressources & Actions
✨ Formations Recommandées
Perfectionnez vos compétences avec ces formations complémentaires
Vous trouverez ici les réponses aux questions les plus fréquentes que nous recevons de la part de nos clients. Notre objectif : vous éclairer et vous accompagner au mieux dans le développement des compétences de vos équipes.
Partie 1 : Nos Formations et Notre Approche Pédagogique
Les deux, mais notre véritable valeur ajoutée réside dans le sur-mesure. Nous partons du principe que chaque entreprise a un contexte, une culture et des défis uniques. Notre processus commence toujours par une phase d'écoute et de diagnostic pour co-construire avec vous le programme qui aura le plus d'impact.
Nos formateurs sont des experts seniors dotés d'une double compétence :
- Une expertise métier solide : Ils ont tous une expérience significative en entreprise au Maroc et comprennent les réalités du terrain.
- Une expertise pédagogique confirmée : Ils sont formés aux techniques d'animation pour adultes, favorisant l'interactivité et la pratique.
Nous nous adaptons à vos contraintes et objectifs avec plusieurs formats :
- Présentiel Intra-entreprise : Chez vous, pour une immersion totale.
- Présentiel Inter-entreprises : Pour favoriser le partage d'expériences.
- Distanciel : Des sessions live, interactives et dynamiques.
Partie 2 : Financement et Aspects Administratifs (Spécificités Marocaines)
Oui, absolument. En tant qu'organisme de formation agréé, nos actions sont éligibles au remboursement via les Contrats Spéciaux de Formation (CSF) gérés par l'OFPPT et les GIAC. C'est un levier essentiel pour optimiser votre budget formation.
Oui, c'est un service clé que nous proposons. Nous vous accompagnons de A à Z dans le montage de votre dossier d'ingénierie financière. Notre expertise du système marocain vous garantit la constitution d'un dossier conforme et le suivi jusqu'au remboursement, transformant cette contrainte administrative en une simple formalité pour vous.
Nos tarifs sont transparents et dépendent de la durée, du niveau de personnalisation, du nombre de participants et du format. Le meilleur moyen d'avoir une idée précise est de nous demander un devis personnalisé et gratuit, qui sera accompagné d'une proposition pédagogique détaillée.
Partie 3 : Processus, Logistique et Suivi
Notre processus est simple et centré sur vos besoins :
- Prise de Contact & Analyse : Échange pour comprendre vos enjeux.
- Proposition sur-mesure : Envoi d'une proposition pédagogique et financière.
- Validation & Planification : Ajustements et fixation du calendrier.
- Réalisation de la Formation.
- Évaluation & Suivi : Mesure de la satisfaction et bilan complet.
Oui. Notre réseau de formateurs nous permet d'intervenir sur l'ensemble du territoire marocain, que vos locaux soient à Casablanca, Rabat, Tanger, Marrakech, Agadir ou dans toute autre ville du Royaume.
Oui, la formation ne s'arrête pas à la fin de la session. Nous assurons un suivi rigoureux : remise des attestations, envoi d'un rapport de synthèse, et mise en place d'une évaluation à froid (quelques semaines après) pour mesurer le transfert des compétences. Des sessions de coaching de suivi sont également possibles.
Partie 4 : Impact et Retour sur Investissement (ROI)
Nous utilisons une approche à plusieurs niveaux (inspirée du modèle de Kirkpatrick) :
- Niveau 1 (Satisfaction) : Évaluation à chaud.
- Niveau 2 (Apprentissage) : Quizz et mises en situation.
- Niveau 3 (Comportement) : Évaluation à froid et entretiens avec les managers.
- Niveau 4 (Résultats) : Analyse de l'impact sur vos indicateurs de performance (KPIs).
Pour trois raisons principales :
- Notre Expertise Locale : Nous sommes des spécialistes du marché marocain et africain, de sa culture et de ses mécanismes administratifs (CSF).
- Notre Approche Sur-Mesure : Nous ne vendons pas de formations, nous construisons des solutions adaptées à votre besoin.
- Notre Engagement sur l'Impact : Nous sommes focalisés sur le retour sur investissement tangible de votre budget formation.
Des questions sur cette formation ?
Notre équipe pédagogique est à votre disposition pour répondre à toutes vos questions et vous accompagner dans votre projet de formation.
La dernière commande pour cette formation a été effectuée il y a 10 jours.
4 personnes regardent actuellement cette page.