Dossier
Snowday 2021 by Snowflake
Rédigé par Radoslav Ilchev – Consultant Actinvision
L’hiver approche mais la tempête de neige est déjà arrivée du côté de Snowflake. Le 17 novembre 2021 a eu lieu le Snowday de Snowflake. Un évènement en ligne pour annoncer les dernières nouveautés sur le Data Cloud Snowflake. Le nombre des annonces a été si conséquent que ceci s’apparentait vraiment à une tempête de neige. Les dernières annonces dataient de juin de cette année. Seulement 6 mois après Snowflake témoigne encore de leur fort engagement sur le développement de leur plateforme et de la volonté de permettre à leurs clients d’innover.
Benoit Dageville, Co-Founder and President of Product, mentionnait à juste titre que pour ceux qui voient encore Snowflake comme juste un datawarehouse dans le Cloud, devrait prendre du temps pour se repencher sur la question et découvrir toutes les fonctionnalités de la plateforme.
Christian Kleinerman, SVP of Product at Snowflake, a rappelé l’objectif de Snowflake d’évoluer en permanence et d’implémenter sans cesse des innovations uniques pour permettre à ses clients d’atteindre des objectifs tel que :
- Opérer à l’échelle mondiale
- Éliminer les silos de données
- Construire plus rapidement
- Créer de nouvelles opportunités
L’invité surprise, Banana nicknamed « Nana »
Nana, un python d’environ 30 kg s’est glissé dans la Keynote. Vous l’avez compris le langage Python arrive sur Snowflake ! Une annonce très impressionnante sur la forme mais aussi très appréciée et attendue par la communauté Snowflake, et notamment les Data Scientists.
Snowflake’s Snowpark est un Framework de développement permettant aux développeurs, Data Scientists et ingénieur data de simplifier les architectures et démocratiser les usages en se concentrant sur une collaboration autour de la donnée. Depuis cet été Snowpark permettait aux développeurs d’utiliser du code à partir de langages familiers comme Java ou Scala tout en bénéficiant de la sécurité, la gouvernance et la performance de la plateforme Snowflake. Un autre grand avantage est que les traitements et les données restent sur la même plateforme sans la quitter.
Une des grandes annonces de Snowday était l’ajout du support natif de Python dans Snowpark. Ceci augmentant drastiquement le champ des possibilités sur la plateforme Snowflake (la fonctionnalité est encore en ‘Private Preview’).
What’s New: Snowflake for Data Science
Une excellente session animée par Sri Chintala et Maxim Lukiyanov, a été consacrée à l’intégration de Python et un cas d’utilisation de la data science. Commençant par la préparation de features, apprentissage d’un modèle de Machine Learning et prédiction, le tout avec Python et centralisé sur Snowflake. La Snowfake Data Marketplace avait évidemment sa place dans la collaboration Data et l’accès à des données tierces pour déverrouiller encore plus d’applications et de valeur.
What’s New: Cross-Cloud Replication for Continuous Global Operations
Session animée par Sahaj Saini, Vinay Srihari.
C’était vraiment la session où on parle global. Dans cette session Snowflake a affirmé à nouveau sa volonté de rompre avec tous les silos et pousser l’innovation vers un Data Cloud global. Cross Cloud, Cross région, Collaboration, Data Mesh, Continuous service and Failover, toutes ces fonctionnalités disponibles avec une simplicité de mise en œuvre extraordinaire. La réplication ne se limite plus aux bases de données. La réplication de l’intégralité du compte est désormais possible avec les utilisateurs, rôles, politiques etc. Avec des interfaces et des configurations extrêmement simples. Également des optimisations de l’efficacité de cette réplication allant jusqu’à 55% et offrant ainsi des économies considérables aux clients. Le Failover et la redirection des applications clientes transparentes permettent de gérer facilement la continuité de service.
La gouvernance globale avait également sa place avec :
- Row Acces Policies
- Object Tagging
- Access History
- Object Dependencies
What’s New: Snowflake for Data Engineering
Session animée par Saptarshi Mukherjee et Parag Jain.
Première grande annonce l’arrivée des flux de données de bout en bout gérés par Snowflake en incluant les Tasks dans les services Serverless. Des améliorations drastiques sur les latences de Snowpipe dépassant les 50%. Une amélioration également sur le suivi d’exécution de Pipes avec Ingestion Dashbords.
Les évolutions ne s’arrêtent pas là. Un des usages mis en avant est l’exploitation de données non structurées. Avec les fonctionnalités rendues possibles par l’utilisation de Snowpark, l’exploitation de ces données devient partie intégrante de la plateforme. Cette annonce s’inscrit dans la démarche contenue d’extensibilité des services et usages possibles sur Snowflake. Un des usages mis en avant dans les démonstrations était l’exploitation d’images médicales au format DICOM ou encore les PDF.
Retours d’expériences Clients
Les retours clients étaient également très intéressants. Novartis, partageait sur le rôle clé que Snowflake a joué pour faciliter le développement de ses cas d’utilisation data et la collaboration avec ses partenaires. Siemens GBS, témoignait sur la réalisation de datamesh global et distribué grâce à Snowflake.
Mes favoris
- Snowpark et l’arrivée de Python : Snowpark déverrouille déjà énormément de cas d’utilisation. Avec Python nous disposons de nouvelles voix de développement et ceci facilitera grandement l’usage data science.
- Account Replication : c’est un grand pas en avant vers un Global Data Cloud sans silos.
- End to end Pipelines : avec l’introduction de Serverless Tasks et le monitoring des Pipes avec Ingestion Dashbords les possibilités d’implémentation de flux autonomes deviennent encore plus riches.
- Snowfake Data Marketplace : dans mes favoris depuis toujours. Le berceau de la collaboration Data dans le Data Cloud.
Les replay de évènement sont disponibles par ici : Replay Snowday 2021
