Dossier
Azure Data Catalog
Facilitez la détection de vos actifs de données
Rédigé par Benoit Distretti – Consultant Actinvision
Azure Data Catalog est un service cloud complètement managé qui permet aux utilisateurs d’avoir accès et de comprendre des données mises à disposition par des collaborateurs. C’est un catalogue de métadonnées qui facilite la détection des actifs de données. Dans un second temps, il permet également de mieux exploiter les données actuelles en les partageant à un plus grand nombre de personnes qui pouvaient ignorer l’existence de ces données aupartavant. Il prend également part dans les RGPD concernant l’entreposage de données d’une entreprise. Avec les nouvelles normes européennes mises en place, Azure Data Catalog se montre comme un outil phare pour entreposer et cartographier ses données au sein de l’organisation.
Le but du service est de répondre à quelques problématiques sur les sources de données au sein d’une organisation :
- Le fait qu’un utilisateur peut ne pas avoir conscience de l’existence d’une source de données.
- L’utilisateur peut ne pas connaitre ni l’emplacement de la source et / ou de la documentation de données. Les deux peuvent se trouver à différents endroits car utilisés par des expériences différentes.
- Faciliter le lien entre les données et le responsable de ces données.
- Faciliter l’accès aux données
Toutes ces questions vont être répondues par Azure Data Catalog pour nous permettre de tirer le meilleur parti des ressources qui sont entre nos mains.
Les différentes étapes permettant une bonne utilisation du service Catalog sont présentées ci-dessus (https://docs.microsoft.com/fr-fr/azure/data-catalog/overview
). Une partie découverte des données dans le catalog selon les besoins, puis la compréhension avec les documentations existantes et si besoin, un contact avec l’expert lié aux données. Une utilisation des données ensuite, pour finir par contribuer au bon référencement et à la bonne contribution pour les autres collaborateurs.
Cas d’utilisation
Nous avons aujourd’hui un grand nombre de sources de données, allant des systèmes d’entreprises OLTP aux bases de données décisionnelles. Ces sources augmentent avec l’évolution et les besoins de l’entreprise ainsi que le nombre de clients. Il est de fait difficile pour tous les membres de savoir où rechercher les données parmi les sources communes. Azure Data Catalog permet de répondre à différents cas d’utilisations :
- Quel système de Ressources Humaines utiliser pour créer ce type de rapport ?
- A qui demander l’accès au Data Warehouse de ce projet ?
- Les données de ce projet sont-elles certifiées pour la création d’un dashboard ? Les chiffres sont-ils à jours ?
- Quelle est la signification de ce champ dans cette table ?
- Quelle donnée utiliser pour calculer ce KPI ?
Par le biais de la publication et de la documentation des sources de données, Azure Data Catalog permet de répondre à ces questions.
Lorsqu’une source de données va être mise à disposition, l’auteur aura différents outils pour permettre aux collaborateurs futurs, de comprendre les données. Une étiquette permettant un référencement et une recherche plus facile et une description pour les explications rapides avant utilisation. De plus, l’onglet Expert permet de rentrer le nom des personnes à contacter en cas de question sur cette source.
Il y a également un onglet « Documentation » qui est lui présent pour des explications plus détaillées sur la source de données comme le descriptif des tables, un possible modèle de données de la base, … Toute information qui sera jugée importante par l’auteur.
L’annotation de ces sources n’est pas l’affaire que de l’auteur. Une fois que les données ont été exploitées par n’importe quel utilisateur, il peut venir ajouter sa pierre à l’édifice pour les prochains, et ajouter ses remarques et documentations avec l’expérience qu’il a eu.
Comment fonctionne Azure Data Catalog ?
Il existe 2 modes dans Azure Data Catalog , le mode « connecté » et le mode « manuel » :
En mode « Connecté » : L’application se connecte à la source de données pour récupérer automatiquement les métadonnées des objets
En mode « manuel « : Dans l’interface web du service Azure Data Catalog, il est possible de « Créer une entrée manuelle ». Les objets (Serveur, Tables, champs …) que l’on souhaite enregistrer doivent être renseignés à la main, pas de connexion à la source de données pour récupérer les métadonnées.
Comment utiliser Azure Data Catalog ?
On souhaite inscrire un exemple de base de données de SQL Server dans un catalog déjà existant. Après avoir souscrit au service Azure Data Catalog dans Azure, on va sur la page d’accueil d’Azure Data Catalog (http://azuredatacatalog.com/ ) qui nous propose de Publier des données.
Une fois la connexion effectuée, on peut cliquer sur lancer l’application pour exécuter l’outil qui va nous permettre de nous connecter aux données.
On accède ensuite à la liste des connecteurs disponibles.
Dans cet exemple nous sélectionnons le connecteur « SQL Server » en haut à gauche de la liste. On arrive sur la page ci-dessous.
- On enregistre les informations nécessaires :
- Le nom du serveur où est située la base / table souhaitée
- Le type d’authentification ainsi que les informations de connexion nécessaires
- La base de données souhaitée
Puis cliquer sur « se connecter »
On va ensuite choisir les objets extraits de cette base qui seront inscrites.
Le menu de droite présente la hiérarchie du serveur avec les bases de données disponibles.
Pour l’exemple nous choisissons « Accident_prod ». Les différentes tables présentes dans la base s’affichent dans l’affichage central. L’utilisateur va ici choisir les différents éléments dans la table qu’il souhaite référencer (autant d’éléments qu’il souhaite), et compléter les informations supplémentaires telles que l’expert et les étiquettes. Ces informations-là sont modifiables par la suite si on ne souhaite pas les renseigner immédiatement.
La page suivante référence les objets dans le catalogue et fait un résumé de ce qui a été inscrit. Lorsqu’on revient sur le portail Azure, on voit bien que nos tables de dimensions ont été inscrites dans le catalogue. Toutes les personnes de l’organisation ayant été ajoutées au catalog existant peuvent voir les données. Cependant pour en inscrire d’avantages, les annoter ou en prendre possession, il faut que l’utilisateur aient les droits requis par l’administrateur du catalog.
Atelier Power BI
2 décembre 2021
9h00 – 17h00
Participez gratuitement à un atelier pratique d’une demi-journée destiné à vous faire découvrir l’intégration de données au travers de la solution Talend Open Studio.
