Qu'est-ce qu'une plateforme données ?

Introduction

• Sourcing des produits : les ingrédients (données brutes) proviennent de diverses sources (systèmes sources tels que le CRM) et sont acheminés vers la cuisine (plateforme de données).
• Stockage des produits : les ingrédients bruts (données brutes) sont conservés dans le garde-manger et les réfrigérateurs (base de données) à l’aide de différents contenants (tables de données) adaptés aux exigences de conservation de chaque ingrédient (modèles de données).
• Préparation des plats : les plats (produits de données) sont préparés en suivant une séquence d’étapes définie (pipeline de données) jusqu’à ce qu’ils soient servis aux convives (consommateurs de données).
• Dressage des plats : les plats (applications data) sont soigneusement dressés avant d’être servis aux convives (consommateurs de données).
• Gestion de la qualité : des procédures (tests de validation des données) sont mises en place pour garantir la sécurité alimentaire, et le respect des standards qualité des plats servis.
• Organisation des équipes : l’organisation (gouvernance des données) de la cuisine et des recettes assure une gestion efficace de la production, évitant toute perte ou gaspillage.

Définition formelle d’une plateforme de données

• Stockage des données : l’entrepôt de données permet de stocker au même endroit les informations issues de multiples systèmes (ex : CRM, ERP, plateforme publicitaire). Le modèle de données désigne la manière dont les données sont stockées dans l'entrepôt afin de faciliter les différents projets analytiques.
• Intégration des données : outils permettant la création de flux de données entre les systèmes sources (CRM, ERP, outil comptable) et l'entrepôt de données. Ils permettent la collecte et centralisation de l'information nécessaire aux projets Data.
• Transformation des données : outils permettant pour nettoyer, normaliser, formater et agréger les données en fonction des besoins de chaque projet data.
• Orchestration des pipelines de données : outils permettant d’automatiser une séquence de tâches visant à collecter, transformer et restituer un ensemble de données à son utilisateur final.
• Visualisation des données : outil permettant de représenter visuellement un ensemble de données sous forme de graphiques pour faciliter le travail d’analyse et de restitution des insights analytiques à un utilisateur s'appuyant sur la donnée pour prendre une décision.
• Gestion de la qualité des données : outils et procédures garantissant la fiabilité des données stockées dans l’entrepôt tout au long de leur cycle de vie.

Conception d’une plateforme de données : une approche centrée sur les utilisateurs

• Comprendre ses utilisateurs : identifier la nature des projets data qu’ils doivent mettre en place afin d’offrir un ensemble de fonctionnalités adaptées.
• Fournir formation, documentation et support : faciliter l’adoption et garantir une utilisation optimale par les équipes.
• Assurer la maintenance et évolutions : maintenir les outils composant la plateforme en état opérationnel et les faire évoluer selon les besoins de l’équipe data.
• Contrôler les coûts : la plateforme sera principalement composée d’outils cloud qui facturent à l’utilisation. Ces coûts doivent être monitorés et optimisés lorsque cela est possible.

Construire une plateforme de données est le rôle d’un ingénieur spécialisé.

Conclusion

• Une plateforme de données est une suite d’outils permettant aux data engineers, data analysts, et data scientists de livrer les projets data.
• Le choix des outils composant la plateforme de données doit être adapté à la typologie des projets data de votre organisation.
• Les utilisateurs de la plateforme doivent être formés aux outils. Ces derniers doivent évoluer en parallèle des besoins de votre équipe data.
• La mise en place et la gestion de la plateforme de données est le rôle d’un ingénieur spécialisé sans lequel la plateforme de données peut devenir un fardeau coûteux plutôt qu’un accélérateur de productivité.