Article
A la découverte de la
Talend Data Fabric
Rédigé par Lacina Kone – Consultant BI Actinvision
Dans la mémoire collective, le simple mot « Talend » évoque chez la plupart des personnes l’idée d’un outil d’intégration de données destiné aux seuls professionnels de l’informatique.
S’il est vrai que l’outil phare et le plus connu de l’éditeur Talend reste le Talend Open Studio for Data Integration (TOS), qui est effectivement un outil ETL d’intégration et de consolidation de données destiné aux informaticiens, il ne faut pas oublier que ce dernier fait en réalité parti d’une suite de logiciels regroupés au sein de la plateforme Talend Data Fabric.
Talend Data Fabric est une plateforme logicielle unifiée de l’éditeur français Talend, qui couvre plusieurs domaines liés aux données, tels que la qualité, la préparation, l’intégration ou encore la gouvernance des données. A cet effet, il s’adresse à un large panel d’utilisateurs allant du professionnel de la donnée à l’utilisateur n’ayant que quelques bribes de connaissances informatiques.
Dans cette article, nous allons vous présenter la solution Cloud Data Fabric de l’éditeur Talend.
Talend Open Studio
Client lourd de développement, c’est l’outil phare de l’éditeur Talend. C’est un logiciel de type ETL dédié principalement à l’intégration de données. Il est disponible dans une version Open Source, téléchargeable gratuitement, ou sous forme de licences payantes suivant le nombre d’utilisateurs.
Depuis ses débuts, ce logiciel n’a cessé d’évoluer, incorporant des composants et modules permettant des traitements de plus en plus complexes.
C’est par exemple le cas du Talend Open Studio – Big Data (version gratuite), module qui permet de traiter assez aisément des données au moyen de technologies adaptées aux volumétries importantes de données (Big Data). De nombreux composants Big Data sont disponibles pour créer et exécuter des Jobs Batch (Hadoop) ou streaming (Spark/Storm) par simple glisser-déposer.
Aujourd’hui, le Studio Talend propose plus de 1000 connecteurs et composants permettant de se connecter à une grande variété de sources de données.
Talend Data Fabric
Talend Data Fabric est une plateforme unifiée de logiciels, commercialisée sous la forme d’un abonnement (licences) par nombre d’utilisateurs. Il permet dans un environnement centralisé de couvrir de nombreux domaines d’activités d’une entreprise tels que : l’intégration des données, Cloud et/ou On-Premise, la création de catalogues de données, la préparation et la qualification des données, l’intégrité et la gouvernance des données, la gestion des Big Data, et la copie en masse des données.
Source : Talend
Les modules du Talend Data Fabric
La Talend Data Fabric est constituée de deux grandes parties qui sont :
Partie On-Premise, constituée du Talend Data Integration qui est le client lourd de développement de flux de données (ETL) et de routes (ESB). Il permet d’intégrer les données de l’entreprise via un procédé de glisser / déposer.
Partie Cloud accessible via la Talend Cloud Plateform qui regroupe également plusieurs modules interconnectés et unifiés qui permettent de prendre en charge la quasi-totalité des besoins de transformation et de qualification de données de l’entreprise ; et ce, que ce soit dans le Cloud ou en local via des moteurs de traitement (Cloud et Remote Engines).
Les applications / outils (modules) de la Talend Data Fabric
Les modules du Talend Cloud Platform
Il existe plusieurs modules ou applications dans la Talend Cloud Plateform :
Talend Management Console (TMC)
Le Talend Cloud Management Console (TMC) est le portail de gestion et d’administration de la plateforme Talend Cloud. Il permet de gérer les utilisateurs, les groupes, les rôles, les projets, les environnements, les droits d’accès des utilisateurs, les moteurs d’exécution ou encore la planification des traitements (scheduling des Jobs et Routes publiées depuis le Studio).
Talend Cloud Pipeline Designer
Talend Cloud Pipeline Designer est un outil web graphique self-service d’intégration des données et des applications dans le cloud en temps réel. Il est puissant, rapide, simple d’utilisation et facilite la création de flux de données de bout en bout. Il permet entre autres de concevoir des traitements de données en batch et en streaming, mais aussi d’intégrer des données structurées et non structurées. Il est capable de se connecter à un grand nombre de sources de données et d’appliquer des transformations sur ces dernières par des objets spécialisés appelés processeurs.
Talend Cloud Data Preparation
Véritable logiciel de traitement et de nettoyage des données, Talend Data Preparation permet aux collaborateurs de l’entreprise de préparer et transformer les données en libre-service. Et ce au travers d’une interface graphique, très « user friendly », par de simples processus de « pointer-cliquer ». Simple d’utilisation, il s’adresse aux utilisateurs métiers, en plus de ceux du département IT.
Une vue de l’interface de Talend Data Preparation (Source : Talend)
Talend Cloud Data Inventory
Talend Cloud Data Inventory est un module intégré dans le Talend Data Preparation et le Talend Cloud Pipeline Designer. Véritable outil de Data Quality, Il permet de profiler automatiquement les données et de dresser un rapport de la qualité de celles-ci dès leur collecte ou leur création sur l’une des deux plateformes précitées.
 |
 |
|---|---|
| Talend Trust Score | Commentaire sur la qualité des données |
Talend Data Catalog
Module de création de catalogues de données centralisés et partagés, Talend Data Catalog offre un point de contrôle unique et sécurisé. Il possède des connecteurs et des composants variés, donnant des possibilités de se connecter à la très grande majorité des sources de données connues.
Talend Cloud Data Stewardship
Conformément aux concepts fondamentaux du MDM (Master Data Management), le Talend Cloud Data Stewardship est un outil conçut essentiellement pour gérer l’intégrité, la qualité et la cohérence des données de l’entreprise. Il tourne essentiellement autour de deux rôles, le « campaign owners » et « data stewards ».
Des campagnes sont créées et appliquées sur des données de l’entreprise par les campaign owners, les Data Steawards quant à eux traitent les tâches (Task) qui correspondent aux anomalies (ou erreurs) détectées au sein de la campagne. Ils traitent les différents cas, font des corrections, des arbitrages et valident les données traitées.
Une vue de l’interface du Data Stewardship (Source : Talend)
Talend Cloud API Services
Talend Cloud API Services est un module qui permet de créer, de tester et de déployer ses propres API, et ce sans nécessairement recourir aux codes. Les API (ou Web Services Rest ou Soap) développées pourront alors être utilisées dans le cadre de la mise en place de routes ESB depuis le Studio (interopérabilité / interfaçage d’applications fonctionnelles métiers, e.g. un ERP avec un CRM).
Talend Stitch Data Loader
Talend Stitch Data Loader permet la copie / migration de données (en masse) ou le chargement de données provenant de sources cloud vers d’autres destinations (base de données, fichiers, etc.).
Comme nous pouvons le constater, les logiciels de l’éditeur Talend ne cessent d’évoluer et de s’adapter à tous les domaines de la Data. Ils ne sont pas réservés aux seuls professionnels de la donnée, mais au contraire, couvre tous les aspects du traitement et de la consommation de données aux seins des organisations et entreprises. Il est désormais ouvert à tous et, pour certains modules, il ne demande absolument pas de connaissances informatiques particulières.
Dans le cadre de cet article, nous n’avons pas pu aborder des sujets tels que le CDC (Change Data Capture), le CI/CD, ni approfondir la partie Talend ESB (Enterprise Service Bus), lesquels sont également des domaines dans lesquels l’éditeur est présent.
