Big Data - les techniques d'analyse et de visualisation par PLB Consultant

* Comprendre les spécificités du Big Data.
Les origines du Big Data.
Les données au coeur des enjeux (volume, diversité, IoT etc.).
Les limites des architectures actuelles et de la BI.
Sécurité, éthique, environnement juridique (données personnelles, CNIL, accords internationaux, etc.).
* Les technologies Big Data (stockage, recherche, visualisation).
Hadoop et ses composants.
Système de fichiers répartis HDFS.
Philosophie de MapReduce.
Quelles différences entre les distributions (Hortonworks, Cloudera, MapR) pour l'analyste ?
Différentes catégories de bases NoSQL (clé/valeur, documents, colonnes, graphes).
Indexer et rechercher des données avec Elasticsearch.
Les visualiser à l'aide de KIBANA.
Quand utiliser le couplage Elasticsearch, Logstash, Kibana (ELK) ?
Le moteur de recherche SolR.
SAS VA et autres solutions mixtes Cloud/On Premice pour explorer vos données.
IBM Watson (fédération des informations).
Solution BI Classique.
Impacts techniques et financiers.
* Gestion des données structurées ou non.
Exemples de données non structurées.
Manipuler les données avec différents formats de fichiers.
Le Master Data Management (MDM) pour réconcilier les référentiels.
Stocker et manipuler des données HDFS.
Structurer vos données avec Hive (bases, tables, etc.).
* La collecte de données.
Intégrer les données avec un ETL.
Utiliser Scoop pour intégrer les données depuis une base de données relationnelle.
Travailler en streaming avec Kafka et Spark Streaming.
Utiliser le langage Pig latin pour intégrer les données.
* L'analyse des données.
Choisir le bon outil en fonction de la structure des données et du traitement (Pig, Hive, Impala, etc.).
Liens avec les outils décisionnels.
Vue générale des différentes méthodes d'analyse (exploration, segmentation, classification, estimation, prédiction).
Requêter avec Hive (jointure sur des données non structurées, tri, regroupement, etc.).
Analyser les données avec Pig (script et interactif avec Grunt).
Interagir avec Hadoop en temps réel (traitement parallèle avec Impala, interroger les données Hive avec Spark).
Analyse interactive de données avec Drill.
Analyse des données de log avec Elasticsearch.
* La visualisation des données (Dataviz).
Ce que les statistiques ne disent pas.
Les objectifs de la visualisation.
Quels graphes pour quels usages ?
Représentation de données complexes (encodage visuel, visualisation interactive).
Savoir communiquer sur les analyses de données (Data Storytelling).

- Comprendre pourquoi de nouveaux outils apparaissent par rapport aux standards SQL ou de visualisation.
- Disposer d'une vue très précise des différents concepts et outils.
- Savoir choisir le bon outil de visualisation pour restituer des présentations dynamiques sur des analyses plus ou moins complexes (Drill, Elasticsearch...) en communiquant de manière efficace et accessible (Dataviz, Data Storytelling).
- Savoir structurer vos données, les alimenter, les analyser et les visualiser avec le bon outil.
- Être opérationnel sur les standards du marché comme Hive, Pig, Impala, ou Spark.