Gérez des flux de données temps réel

Lorsqu’on réalise un calcul sur des données massives, on a parfois besoin du résultat dans la journée, dans l’heure, mais bien souvent c’est plutôt… dans le dixième de seconde qui suit ! Lorsque des flux massifs de données hétérogènes nous parviennent, comment les exploiter sans être submergés ? C’est tout l’enjeu du traitement de données temps réel.Au quotidien, nos actions génèrent des quantités massives de données dont la valeur réside dans le fait qu’elles soient transmises et décortiquées le plus rapidement possible : une voiture sans chauffeur doit pouvoir éviter des obstacles détectés par l’un de ses milliers de capteurs ; un site d’achats en ligne affichera des recommandations personnalisées en fonction des pages visitées juste avant ; une alerte doit être lancée lorsqu’un serveur tombe en panne dans un cluster de calcul comprenant plusieurs centaines de machines.

La rapidité à laquelle il faut réagir à ces évènements exige de concevoir des architectures distribuées dédiées… et c’est ce que nous allons voir dans ce cours ! Vous y apprendrez comment les Data Architects conçoivent, déploient et administrent des plateformes de gestion de flux de données temps réel avec Kafka et Storm.

Ce cours a été créé en partenariat avec l’école Centrale Supélec. À la fin de ce cours, vous : Comprendrez le rôle et les enjeux du temps réel dans les problèmes de Big DataSaurez déployer une plateforme de gestion de messagesSerez en mesure de déployer une solution de traitement de données temps réel

Organisateur :

OpenClassrooms

* MOOC Francophone est un service de mise en relation sans inscription et sans intermédiaire. Nous n’organisons aucun cours, le lien « Suivre le cours » vous redirige vers la page web des organisateurs. Les participants peuvent également évaluer ce cours en cliquant ici
  • icon

    Intervenants

    Régis Behmo

    Expert en machine learning, développeur fullstack, grimpeur invétéré et gros, très gros amateur de nouilles chinoises.

  • icon

    Durée

    3 semaines

    Vous pouvez vous inscrire à ce cours à n’importe quel moment de l’année… Le  cours est disponible directement sur la plateforme OpenClassrooms 365 jours par an, 24/7, sur tous supports (PC, MAC, tablette, mobile).

    Vous pouvez également choisir de suivre les cours selon un rythme prédéfini par la plateforme (1 semaine par partie) ou bien sans rythme, sans contrainte de temps et organiser vous-même une progression régulière..

    Le rythme d’une semaine par partie permet un avancement régulier en fixant des dates limites sur le rendu des devoirs. L’avancement du cours sans rythme vous permet quant à lui une grande flexibilité, car vous pouvez réaliser vos exercices à tout moment.

    Cette formation est ouverte toute l’année.

  • icon

    Prérequis

    Ce cours fait partie du parcours Data Architect et nécessite une bonne formation en informatique. Pour en profiter pleinement, n’hésitez pas à vous rafraîchir la mémoire, avant ou pendant le cours, sur :

    • La programmation objet (Java, Scala, Python, Ruby, C++ ou autre) et la parallélisation.

    • L’environnement Unix, la gestion de la mémoire et des transferts de données, les réseaux.

  • icon

    Charge de travail

    12 heures

  • icon

    Coût

    Gratuit

  • icon

    Certification

    Vous devez compléter tous les exercices du cours et obtenir une note finale d’au moins 70% pour obtenir votre certification !

    Un compte OpenClassrooms Premium Solo (20€ / mois) est nécessaire pour valider votre certification.

  • icon

    Déroulement

    Chaque cours est composé d’une ou plusieurs parties et peut comporter du texte, des images (schéma, illustration) et des vidéos. Les vidéos des cours durent 10 minutes maximum, avec une moyenne de 3-4 minutes. Elles sont visualisables à tout moment sur OpenClassrooms et téléchargeables en haute définition.

    Chaque partie d’un cours certifiant est ponctuée d’exercices de 2 types :
    – des quiz corrigés automatiquement
    – des devoirs libres (exemple : créer un site web avec des consignes précises).

    Ces devoirs sont évalués par les pairs. Chaque devoir est corrigé 3 fois par 3 autres élèves, dans un processus en double aveugle, selon un barème fixé par le professeur. La note finale est la moyenne des 3 notes reçues sur le devoir.

    Si vous rencontrez des difficultés, pas de panique ! Vous pouvez à tout moment obtenir de l’aide sur les forums.

  • icon

    Programme

     Partie 1 – Passez à la vitesse supérieure avec le temps réel

    1. Comprenez les enjeux et les contraintes liés au traitement de données temps réel

    2. Découvrez quelques scénarios d’usage des données temps réel

    Quiz : Partie 1

    Partie 2 – Déployez une plateforme distribuée de streaming

    1. Métamorphosez vos applications temps réel avec Kafka

    2. Créez votre première application avec Kafka

    3. Déployez et administrez un cluster Kafka

    Partie 3 – Traitez des flux de données massives en temps réel

    1. Démarrez sur de bonnes bases avec Storm

    2. Développez des topologies Storm en pratique

    3. Déployez Storm en productionCertificat de réussite

  • icon

    Plateforme

    OpenClassrooms
    Une technologie issue du projet Open Source CLAIRE (Community Learning through Adaptive and Interactive multichannel Resources for Education) développé conjointement par OpenClassrooms (ex : Simple IT / Site du zéro), le laboratoire LIRIS (équipe Silex), et INRIA Grenoble (équipe WAM)

Evaluer ce cours !

Votre avis participe à une dynamique constructive pour les prochains sessions

0 50 100 1
50%
Moyenne des votes Je participe !
fermer

Merci pour votre contribution. Votre avis est en attente de modération avant publication. Après validation, vos données seront anonymisées.

fermer

Recevez chaque semaine les MOOCs à suivre !

Ne ratez aucun nouveau MOOC ! Avec notre newsletter garantie sans SPAM, restez informé pour ne louper aucun cours à venir.

Merci ! Votre demande d'inscription vient d'être prise en compte :)

Pin It on Pinterest

Share This