Au cours de la dernière décennie, les entrepôts de données ont été le pilier de l’analyse des données de l’entreprise : les services administratifs, marketing et commerciaux ont basé leurs budgets, leur planification et leurs rapports sur ces plateformes de données centralisées alimentées par tous les systèmes d’information.

Avec l’avènement des solutions d’analyse de données « cloud-native » proposées par Google, Microsoft et AWS, de plus en plus d’entreprises s’engagent sur la voie de la modernisation de leurs entrepôts de données. Un chemin vers ce que tous les analystes appellent l’Augmented Business Intelligence.

Nous discutons de ce phénomène avec trois experts de notre centre d’excellence xTech sur les technologies du cloud et la gestion des données.

Marco Pesarini, partenaire chez xTech, explique ce que signifie la modernisation de votre entrepôt de données et pourquoi nos clients considèrent ces solutions avec intérêt.

« Moderniser votre entrepôt de données signifie amener votre plateforme d’analyse de données à des fonctions « cloud », entièrement gérées à distance et proposées sur un mode de « paiement à l’utilisation ». Une analogie interne serait ce que nous avons fait avec les serveurs de messagerie, qui ont été remplacés par des services « cloud » comme Office 365 ou Gmail. Plus de matériel ou de licences, qui pèsent souvent sur le budget informatique; plus de frais d’exploitation ou de perturbations provenant de votre centre de données; les données, les rapports et les analyses sont toujours disponibles via le réseau et avec un modèle de coût basé uniquement sur la consommation.

Google BigQuery, Azure Synapse et AWS RedShift sont les solutions cloud clés en main pour construire une plateforme de données, sans se soucier de la nécessité d’une architecture informatique compliquée pour la supporter.

Nombre de nos clients procèdent à la modernisation de leurs entrepôts de données pour des raisons de coût : nos benchmarks font état d’économies allant jusqu’à 50% du TCO par rapport aux solutions traditionnelles. La part du lion de cette réduction est attribuée aux économies en termes de licences logicielles qui sont remplacées par des modèles plus légers de paiement à l’utilisation qui peuvent améliorer le temps de retour sur investissement du projet de migration à moins de 18 mois.

Mais les avantages de la modernisation vont bien au-delà des économies : les clients qui commencent à explorer le sujet réalisent à quel point une solution d’entrepôt de données modernisée permet des analyses qui ne sont pas possibles avec les entrepôts de données traditionnels.

Les solutions cloud permettent une gestion en temps réel bien plus importante des rapports, dépassant ainsi le modèle d’entrepôt de données « tardif », où les données datent souvent de 24 heures et où de nombreux rapports sont mis à jour sur une base hebdomadaire ou mensuelle. Les solutions cloud-native adoptent des outils de téléchargement de big data qui offrent un approvisionnement en quasi temps réel des systèmes opérationnels vers l’entrepôt de données, fournissant – pour ne donner qu’un exemple – des données comptables fraîches pour la journée.

Les entrepôts de données cloud-native sont également plus ouverts à la gestion de données non structurées provenant de l’extérieur de l’entreprise. Pensez par exemple aux données issues des sources IoT et des médias sociaux, pour une entreprise qui souhaite enrichir ses analyses marketing avec des sentiments issus du réseau ou avec des données collectées à partir d’objets connectés sur le terrain. Ces données proviennent souvent du cloud et se présentent sous la forme de volumes et de variétés très importants, de sorte que leur gestion directe sur le cloud contribue à réduire considérablement les coûts de transfert et permet une gestion flexible des ressources : Je crée de l’espace pour la gestion des données uniquement lorsque j’en ai besoin, sans avoir à faire des investissements supplémentaires inutiles en temps.

Enfin, les solutions d’entrepôt de données dans le cloud intègrent nativement les fonctionnalités d’apprentissage automatique et d’intelligence artificielle les plus avancées du marché provenant de Google, Microsoft et Amazon. Ces fonctionnalités peuvent être insérées directement dans les rapports de l’entreprise pour transformer les anciens rapports d’entrepôt de données en outils d’analyse, de déduction et de prévision avancés. Ce sont les outils les plus appropriés pour faire face à la période d’incertitude que nous traversons; une période où notre expérience et nombre de nos pratiques pourraient ne plus être adéquates : une période à aborder avec la Business Intelligence augmentée.

Tout cela est offert par le cloud, accessible en quelques clics depuis nos PC, tablettes ou smartphones, où que nous soyons. C’est pourquoi nous parlons d’une transformation d’époque. »

Eros Frigerio, directeur et architecte de solutions chez xTech, explique les principaux défis auxquels nos clients sont confrontés lors de la modernisation de leurs entrepôts de données et la meilleure approche à suivre.

« Comme l’a expliqué mon collègue Marco, choisir de moderniser son entrepôt de données dans le cloud présente de nombreux avantages, mais cela implique en même temps une série de défis à relever lors de la conception et de la mise en œuvre de la solution. Les principaux défis sont:

1. Répondre aux exigences de sécurité et de conformité : dans le monde du cloud public, il faut être très attentif aux exigences de sécurité et de conformité (par exemple, le GDPR). Nous ne pouvons pas recourir à des approches exagérées et générales – tout anonymiser – mais nous devons travailler sur les différents cas d’utilisation, pour trouver des solutions qui offrent le meilleur compromis entre l’agilité opérationnelle et la conformité.
2. La nécessité d’adopter une approche cloud-native : les modèles de données et les pipelines d’assimilation et de transformation des données doivent être optimisés pour le cloud. Des compétences spécialisées sont nécessaires pour adopter les composants les plus adaptés et tirer le meilleur parti des services et fonctions natifs du cloud (serverless, autoscaling, etc.). Aborder le cloud avec des solutions trop traditionnelles n’est pas seulement inutile, mais pourrait aussi être contre-productif. Prenons par exemple le thème de la modélisation des données, où une approche classique guidée par la standardisation pour réduire l’espace de stockage doit laisser place à de nouvelles approches plus orientées vers la dénormalisation – moins de SQL et plus d’Excel, si vous me permettez la métaphore – qui peuvent mieux permettre la gestion des données non structurées.
3. La nécessité d’adopter des solutions de gouvernance : la configuration et la mise en œuvre de services cloud dans le cadre de la conception des données de l’entreprise nécessitent un cadre de gouvernance des données d’accompagnement qui vous permet de contrôler les données tout au long de leur parcours de transformation articulé, afin de garantir les niveaux de qualité technique et commerciale attendus. La gouvernance des données est devenue un élément fondamental de la modernisation.

Pour éviter tout problème, il est donc essentiel que l’équipe de projet dispose de la bonne combinaison de compétences spécialisées dans les fonctions natives du cloud, la gouvernance des données et la sécurité du cloud, et qu’elle sache comprendre, évaluer et diriger une approche structurée et mature du programme de modernisation.

Pour assurer et soutenir l’évolution des pierres angulaires du nouvel entrepôt de données, notre approche consiste en trois phases clés qui examinent quatre domaines d’intervention : le choix de la stratégie d’accès au cloud, la conception de l’architecture de référence, la modélisation des données et le

La première phase est l’évaluation, qui analyse la situation actuelle pour évaluer la faisabilité technique et économique, la maturité organisationnelle et la disponibilité des données afin d’identifier la meilleure orientation stratégique. Une étape fondamentale de l’évaluation, qui aide souvent les clients à comprendre les avantages et les défis associés à l’entrepôt de données modernisé, est la preuve de concept. Cet exercice expérimental vise à migrer une gamme spécifique de données, un rapport spécifique, vers le cloud pour voir de première main ce que signifie la modernisation. Une preuve de concept peut être réalisée en quelques semaines et est souvent d’une grande aide pour sensibiliser toutes les parties prenantes du projet.

Vient ensuite la phase de conceptualisation de la fondation, qui vise à créer les principaux piliers fondateurs du nouvel entrepôt de données, notamment en termes d’architecture, de modèle de données et de directives de mise en œuvre pour les flux de données et l’analytique.

La troisième et dernière phase est la mise en œuvre : exécuter, mesurer et améliorer. Il s’agit d’activer et de configurer efficacement les composants de l’architecture cloud, de développer le nouveau modèle de données, les pipelines d’assimilation et de transformation, et de mettre en œuvre les cas d’utilisation analytiques et de reporting. Tout cela se déroule dans le cadre d’une progression agile qui prévoit des phases d’amélioration continue. »

Luca Natali, ingénieur associé en données chez xTech, explique quelles sont les principales technologies permettant le développement d’une plateforme d’entrepôt de données modernisée.

« Les principales technologies permettant de développer des entrepôts de données dits modernisés sont les services cloud-native développés par les fournisseurs pour produire une plateforme, offrant une gestion complète des données brutes aux tableaux de bord de visualisation. Ces services peuvent être regroupés en cinq catégories de base:

• Couche de données brutes : services de stockage d’objets, capables d’accueillir des données structurées, semi-structurées et non structurées. Ils sont généralement utilisés comme zones d’atterrissage pour les fichiers provenant d’autres environnements cloud ou des systèmes du centre de données du client. Exemples : Amazon S3, Google Cloud Storage, Azure Blob Storage.
• Intégration des données : outils de traitement gérés et évolutifs qui peuvent effectuer un traitement distribué des données en adaptant dynamiquement les ressources nécessaires au calcul. En plus de ces outils, il est souvent utile d’inclure des services supplémentaires pour la planification des activités, le traitement basé sur les événements (comme les fonctions événementielles sans serveur), l’anonymisation des données, le catalogage des données, etc. Voici quelques exemples de ces outils : Amazon Glue, Azure Data Factory, Google Dataflow.
• Entreposage de données : il s’agit du composant principal de la chaîne, où les données sont enregistrées dans le modèle de données au format tableau, après le processus de transformation et d’évaluation de la qualité. Exemples : Amazon Redshift, Google BigQuery, Azure Synapse Analytics.
• Visualisation/Rapports : ces services servent à développer des rapports et à créer des tableaux de bord de visualisation des données. Ces outils sont très souvent intégrés à d’autres sources pour combiner des données provenant de plusieurs sources différentes, permettant ainsi de nouveaux types d’analyse.

Les exemples incluent : Amazon QuickSight, Microsoft Power BI, Google Data Studio.

Un aspect qui rend ces outils natifs du cloud très attractifs pour la création de nouveaux entrepôts de données est leur facilité d’intégration avec les sources de données de l’entreprise. En quelques étapes de configuration seulement, nous avons la possibilité non seulement d’intégrer des systèmes d’entreprise traditionnels (comme les ERP ou CRM historiques), mais aussi de connecter des systèmes d’information d’entreprise plus modernes et basés sur le cloud, comme Salesforce ou ServiceNow.

Enfin, il convient de souligner que même pour les clients qui ont déjà transféré leur entrepôt de données vers le cloud, mais sans changer la technologie (c’est-à-dire en adoptant une approche IaaS lift & shift), la modernisation peut offrir des avantages supplémentaires en plus de ceux déjà obtenus avec la première migration de l’entrepôt de données. Il s’agit notamment d’une plus grande flexibilité et agilité, d’une plus grande fiabilité de la plate-forme et d’une réduction des tâches opérationnelles quotidiennes, grâce au service entièrement géré (gestion des sauvegardes, des mises à jour logicielles, etc.) Ces avantages ne concernent pas seulement l’entrepôt de données en soi, mais aussi tous les outils liés au traitement des données, à l’exécution des pipelines ETL et à la planification. C’est pourquoi, comme l’ont dit mes collègues, pour tirer le maximum d’avantages de la solution modernisée, toute la chaîne de gestion des données – de la phase d’assimilation au reporting – doit être conçue et mise en œuvre en utilisant largement les outils cloud-native.”

---