Big data avec Apache Spark - initiation par Alphorm

Spark est actuellement le projet open source le plus actif sous la plate
- forme Apache Software Foundation (ASF). Il est aussi l'un des projets open source de big data le plus actif.
Spark permet aux développeurs de créer un traitement de données complexe en plusieurs étapes routines, fournissant une API de haut niveau et un cadre tolérant aux pannes qui permet aux programmeurs à se concentrer sur la logique plutôt que sur les problèmes d'infrastructure ou d'environnement comme une défaillance matérielle par exemple.
Dans cette formation vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage Scala. Spark est écrit en Scala. Il fonctionne en Java virtuel machines (JVM).
Vous allez maitriser l'utilisation MapReduce avec Spark qui est une alternative à l'utilisation traditionnelle MapReduce sur Hadoop.
L'utilisation de MapReduce avec Hadoop a été jugé inadaptée aux requêtes interactives ou temps réel, avec une faible latence applications. Un inconvénient majeur de l'implémentation MapReduce de Hadoop était sa persistance des données intermédiaires sur le disque entre le Map et le Reduce en phases de traitement.
Dans cette formation vous allez apprendre à implémenter une structure distribuée, tolérante aux pannes et in
- memory appelée Resilient Distributed Dataset (RDD). Vous allez également apprendre à traiter les données non structurées.
Dans le chapitre de Spark SQL les notions des DataFrame et DataSet ne seront plus un secret pour vous.
Vous avez surement entendu parler du traitement des données qui arrivent en temps réel, ce qu'on appelle le Streaming. Un chapitre bien détaillé vous attend afin que vous puissiez monter en compétence rapidement avec Spark Streaming.

Maîtriser les concepts fondamentaux d'Apache Spark
Faire de la programmation parallèle avec Spark et Scala
Exploiter des données avec Spark SQL (utilisation de SQL)
Développer des applications avec Spark Streaming