Fin d'Inscription : Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.
Si vous avez un besoin URGENT et que vous souhaitez une date de formation plus proche que les sessions programmées (minimum 15 à 20 jours ouvrés à date de votre demande)
1/ Introduction NiFi : installation et concepts fondamentaux
Différence entre données froides et données chaudes
Généralités sur la gestion des flux de données, les pipelines de données et ETL
Présentation des outils et technologies Big Data
Les cas d'usage d'Apache NiFi : EAI, Big Data, IoT, …
Présentation générale de NiFi : architecture, positionnement et cas d’usages
Concepts de base et terminologie : Processors, FlowFile, Connectors…
La création d'un flux et son fonctionnement
Composants et fonctionnalités
Hadoop (HDFS et MapReduce) et Spark
Installer et configurer Apache NiFi
Prise en main de l’interface
Approches de développement
Outils de développement d'applications et état d'esprit
Extraction, transformation et chargement (ETL) des outils et de la mentalité
2/ La programmation basée sur les flux (« flow-based »)
Concepts de programmation "flow-based" et les workflows
Le projet Open Source Apache NiFi et ses concurrents (Apache Camel, Node-RED, …)
L'écosystème NiFi et ses distributions (Hortonworks DataFlow, …)
Les fonctionnalités essentielles
Les pré-requis d'installation et les modes de fonctionnement
3/ Démarrer avec NiFi : création de flux de données
Ajouter et configurer un processor : GetFile
Créer un premier flux avec PutFile et comprendre son fonctionnement
Les différents types de processeurs disponibles
Configurations et connexions
Générer des Flow Files avec GenerateFlowFile et ReplaceText
Utiliser les attributs
Introduction aux variables et à variable registry
4/ Mise en oeuvre de NiFi
Composants, événements et modèles de processeur
Le format des FlowFiles
Le langage EL et la gestion de conditions de routage
Les principaux processeurs et leurs paramètres
L'utilisation de scripts (Groovy, Python, …)
La gestion d'erreurs
L'utilisation de templates
Services de contrôleur
Tests et dépannage
Contribuer à Apache NiFi
5/ Débugger NiFi et monitoring
Debugging et gestion des erreurs depuis l’interface
Utiliser Reporting Task
Configurer Backpressure
Provenance des données
Surveiller les logs
6/ Intégration avec apache kafka
NiFi en producteur de données pour Kafka
NiFi en consommateur de données
Cas d’usages
7/ Cluster et big data
Le fonctionnement en cluster avec Zookeeper
L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
Mise en pratique : configuration d'un cluster avec Zookeeper
8/ Extensions
Les principes de fonctionnement d'un Processor
Le paramétrage et l'accès aux données d'un flux
Le packaging d'un Processor dans un NAR
Approche Pédagogique
Approche Pédagogique
Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
Cas pratiques
Remise d’outils
Echanges d’expériences
Public cible
Public cible
Architecte
Tech lead
Développeurs
Dates
Dates
Du 22 au 24 Mai 2024
Du 24 au 26 Juil. 2024
Du 25 au 27 Sept. 2024
Du 20 au 22 Nov. 2024
Fin d'Inscription : Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.