DATANOSCO

Merci aux 500+ premiers abonnés ! Et déjà plus de 12 épisodes du #datasommelier ! S1E1 👉 Apache #Iceberg, vers un nouveau standard du stockage de la donnée ? avec Victor Coustenoble https://lnkd.in/eDXaW8Ua S1E2 👉 Découverte de The Apache Software Foundation Foundation, avec JB Onofré https://lnkd.in/esbzkhRC S1E3 👉 #FinOps, halte au gaspillage ... où les bonnes pratiques à mettre en place pour optimiser les coûts d'une plateforme data, avec Matthieu Rousseau et Ismael Goulani https://lnkd.in/eWrZvS6z S1E4 👉 Un #Lakehouse dans un cloud français, économiquement abordable et basé sur des composants #opensource interchangeables, c'est possible ? avec Vincent HEUSCHLING https://lnkd.in/evUk-qhh S1E5 👉 Talaxie, le fork Talend Open Studio. L'initiative de Jean Cazaux https://lnkd.in/ekpAxC2T S1E6 👉 De PowerMart à #IDMC, en passant par #PowerCenter, Christophe FOURNEL retrace les 30 dernières années d'Informatica https://lnkd.in/es-5-iH9 S1E7 👉 Le retour des 'Data Platforms'. Interview de Eric Mattern https://lnkd.in/evZ47CMP S1E8 👉 Le projet #Icehouse avec Victor Coustenoble, une plateforme #Lakehouse intégralement gérée, qui combine le moteur de requête #opensource #Trino et Apache Iceberg. https://lnkd.in/eTWmnUk3 S1E9 👉 Retour sur la conférence #Subsurface, organisée par Dremio qui s'est déroulée les 2 et 3 mai 2024 à New York. Charly Clairmont en profite pour nous rappeler ce qu'est Dremio et ses différents cas d'usages. https://lnkd.in/eYWGSyh2 S1E10 👉 La gouvernance de données, c'est d'abord une question organisationnelle ! Daniel MALOT nous parle de son expérience terrain et décrit les étapes nécessaires pour mener à bien un projet de gouvernance en nous faisant découvrir quelques aspects de sa solution META ANALYSIS. https://lnkd.in/eeP7HQw7 S1E11 👉 Pierre Villard retrace l'histoire de la solution Apache NiFi, véritable gateway universelle permettant le développement de pipelines de mouvements de données, aussi bien en mode batch qu'en streaming. https://lnkd.in/e-daVV7n S1E12 👉 Le streaming, une nouvelle façon de penser l'architecture des applications et d'améliorer les usages de la data ! Fred CECILIA constate que le #streaming s'impose naturellement lorsqu'on a vainement essayé d'optimiser les batch existants https://lnkd.in/edM24ybU S1E14 👉 Alexandre Guillemine de chez Foodles nous détaille toutes les étapes de son projet de migration de #PostgreSQL vers Snowflake ! https://lnkd.in/edA9M3qd S1E15 👉 Amphi, un ETL #opensource pour faire du RAG, développé par Thibaut Gourdel ! https://lnkd.in/eQuTgZ6q S1E16 👉 Cloudera, de l'ère Bigdata à l'ère de l'IA, interview de Denis FRAVAL https://lnkd.in/efgh4b6E S1E17 👉 DCP, la Data Platform ClickOps Self Service, avec le témoignage d'EDF. Interview de Frederic Collin et Edouard Rousseaux https://lnkd.in/gKuDQAHG

Apache Iceberg has become a major focal point in the data industry, attracting significant interest to the extent that Databricks spent $2 billion this summer to acquire Tabular (now part of Databricks), the company behind Iceberg's development. However, Amazon Web Services (AWS) has made new announcements this week! Is this the beginning of clarification for Apache Iceberg's future, or will it instead stir up confusion in the data landscape? I have selected some interesting publications. I also invite you to browse through the comments: Is AWS S3 becoming a #Datalake ? by Stanislav Kozlovski 👉 https://lnkd.in/dRYBEbjE Meet your new data lakehouse: S3 Iceberg Tables 👉 https://lnkd.in/dDH7BZpV S3 brand is strong enough to drive adoption and cut everything Databricks was planning with Iceberg, by Christophe Blefari 👉 https://lnkd.in/eBFDXdVn Amazon's introduction of S3 Tables seems like a strategic move to offer more flexibility and ease of use first and foremost among Amazon’s existing compute engines Redshift, Athena, and Sagemaker, by Matthew Mullins 👉 https://lnkd.in/dt3hQmXQ AWS dropped a huge announcement that will have big ripple effects in the data industry. And in my opinion, it may have marked the death of Databrick's Delta Lake, by Ian Whitestone 👉 https://lnkd.in/dMVzdnVS I'm calling it now - the winner is: Apache Iceberg! or How Apache Iceberg Won the Open Table Wars, by Adam Bellemare 👉 https://lnkd.in/ddusV4AE #dataengineering is more than just the table format, and this is the Achilles heel in AWS’s recent announcement, by David Morton 👉 https://lnkd.in/d4NyaM2M Contrarian Opinion: AWS Iceberg tables are just good branding. They don't significantly impact the ease of use for Iceberg within most orgs, but do have potential, by David Yaffe 👉 https://lnkd.in/ddSRU4Ku So ..., now you know ! ;)

#replay #dbt #tools Voilà c’était ce soir avec Wilson Ruzindana Ngabo et Céline Vicente de dcube Merci à Stéphane Heckel et Modern Data Stack France pour la diffusion/partage Ici le replay sur YouTube https://lnkd.in/e_zSij7d

🎙️ Notre CEO Oussama Ghanmi aura le plaisir de participer à une discussion ouverte sur les CDP et les nouvelles approches composables avec Stéphane Heckel. N'hésitez pas à nous rejoindre pour en apprendre davantage : ● Une approche plug & play, implémentable en moins de 30' ● Des données plus intelligentes accessibles à tous ● La sécurité des données clients avant tout

Merci Stéphane pour l'invitation. RDV mercredi prochain pour tout savoir sur les CDP et l'offre composable de DinMo

If you are involved in data projects, interested in open source, and need to navigate the data landscape, this is for you! 👉 What would a 100% open-source modern data stack look like? Gleb Mezhanskiy discusses the importance of open-source technologies in the modern data stack. It highlights that while open source alone isn't a sufficient reason to choose a technology, it offers several advantages. These include providing insight into industry trends, offering transparency in capabilities compared to closed-source SaaS, allowing for customization and extension of certain data stack components, and potentially being the only viable option for some organizations due to regulatory, cost, or location constraints (https://lnkd.in/eiUk5zb8). 👉 The landscape of Open Source Data Engineering 2024 The article outlines the open-source data engineering landscape for 2024, covering nine key areas: storage systems, #dataintegration, infrastructure and monitoring, processing and computation, ML/AI platforms, #datalake platforms, workflow and #dataops, metadata management, and analytics and visualization. It highlights various tools and technologies in each category, ranging from databases and data processing frameworks to MLOps platforms and BI tools. The comprehensive overview, compiled by Alireza Sadeghi and highlighted by Ravit Jain, provides a snapshot of essential solutions for #dataengineering needs (https://lnkd.in/eVu6snN2). 👉 The Composable Data Platform project repository (GitHub) The project under construction, named "OSS Data Tools Landscape", is a comprehensive initiative developed by Emeric Chaize and the Olexya team, focusing on building a Composable Data Platform using open-source solutions. The project has two main objectives: ● Identifying available open-source solutions for constructing a composable data platform (https://lnkd.in/ebZGmcMt). ● Demonstrating the functionality of these solutions through a simple example implementation. The repository includes a market study section that addresses the challenges of navigating the vast open-source data landscape. To help #data leaders make informed decisions, the project introduces a set of tailored filters that consider factors such as Stars, Forks, Contributors, Last Release, Latest Commit (link to the GitHub project : https://lnkd.in/eAdWtsC8). Something is missing? Need clarification? Want to join the OSS Data Tools Landscape project ? Let a comment here !

CDP ? Qu'est-ce qu'une Customer Data Platform ? DinMo (Data In Motion), une Customer Data Platform (CDP) qui se différencie des solutions traditionnelles en s'intégrant directement aux modèles des systèmes sources comme Snowflake, Databricks ou BigQuery. On en parle avec Oussama Ghanmi. DinMo fournit aux équipes marketing un accès facile et autonome à des informations enrichies pour une meilleure segmentation et personnalisation "clients". L'approche est modulaire et collaborative tout en offrant des fonctionnalités d'enrichissement, de segmentation, et d'activation omnicanal. Le modèle économique vise à rendre cette technologie accessible à des entreprises de toutes tailles. L'émergence des Data Warehouses et Data Lakes a conduit à un changement de paradigme dans le domaine des CDP. ● Les entreprises internalisent de plus en plus la gestion de leurs données, en utilisant des outils comme Snowflake ou Databricks pour centraliser et réconcilier les données. ● Les plateformes CDP de nouvelle génération s'intègrent directement à ces Data Warehouses, évitant ainsi la duplication des données et les problèmes de gouvernance. DinMo est un exemple de plateforme CDP qui s'inscrit dans cette nouvelle approche "composable". ● Intégration native aux data warehouses comme Snowflake ou Databricks ● Prise en compte des données directement à la source, en s'adaptant au modèle de données existant du client. DinMo facilite la collaboration entre les équipes data et les équipes métiers. L'équipe data prépare et expose les données dans le Data Warehouse, tandis que DinMo fournit aux équipes métiers une interface intuitive pour segmenter et activer ces données. Cela permet aux équipes marketing d'être autonomes et d'accéder rapidement aux informations dont elles ont besoin pour personnaliser l'expérience client. En résumé, la valeur ajoutée unique des plateformes CDP réside dans leur capacité à activer les données clients, en connectant les données aux équipes métiers et en permettant une communication omnicanale plus personnalisée et efficace. Les plateformes CDP de nouvelle génération s'intègrent de manière transparente aux data warehouses existants, permettant aux entreprises de tirer pleinement parti de leurs investissements en matière de données

Rejoignez-nous pour un débat en ligne captivant sur la modélisation des données : Kimball vs. One Big Table (OBT) vs Inmon 👉 La modélisation Kimball, bien établie depuis 1996, repose sur l'utilisation de tables de faits et de dimensions, offrant une gouvernance des données améliorée. Cependant, des études récentes montrent que l'approche OBT, qui favorise une table dénormalisée unique, peut offrir des performances supérieures dans des environnements modernes comme Redshift, Snowflake et BigQuery. Avantages de l'OBT : ● Simplification des requêtes sans jointures complexes ● Accès rapide aux données avec des temps de réponse améliorés Inconvénients : ● Risque de désorganisation si les colonnes ne sont pas bien structurées ● Moins compatible avec certains outils BI comme Power BI ou Tableau 👉 La question se pose : Doit-on abandonner complètement le modèle Kimball au profit de l'OBT ? Ce débat est crucial pour les #datascientists et les #dataengineers qui cherchent à équilibrer créativité et rigueur. Une approche hybride pourrait-elle être la solution ? Participez à notre discussion pour explorer ces enjeux et partager vos expériences ! Ismael Goulani, Stéphane Heckel, Willis Nana, Axel TIFRANI

Are you full-stack ? While the term "full stack" originated in software engineering, its essence has become a critical mindset across all professional domains, demanding a comprehensive understanding that goes far beyond surface-level expertise. For software engineers, being full stack is about developing a profound ecosystem of knowledge that encompasses architecture design, system sizing, performance optimization, and a deep understanding of business requirements. The most successful engineers today are those who can seamlessly bridge technical implementation with strategic business objectives, translating complex technical challenges into solutions that directly impact organizational goals. Data engineering exemplifies this full-stack philosophy perfectly. Gone are the days when proficiency in Python and SQL was sufficient. Data engineers must think like software architects, implementing robust engineering practices, understanding complex system designs, and critically evaluating the business context of their data solutions. They need to ask probing questions, anticipate potential challenges, and design scalable infrastructures that can adapt to evolving business needs. Sales professionals are another prime example of how the full-stack mindset has become essential. Today's top performers are far more than traditional relationship managers. They are strategic thinkers who combine deep product knowledge with market intelligence, competitive analysis, and sociological insights. Successful sales professionals develop their own marketing engines, anticipate market needs, and create intricate networks of internal and external partnerships that transform traditional sales approaches into sophisticated strategies. Pre-sales roles further illustrate this comprehensive approach. It's no longer about delivering polished product demonstrations; instead, it's about deep listening, understanding complex economic landscapes, and building genuine partnerships with prospects and internal sales teams. The most effective pre-sales professionals act as strategic advisors, bridging technical capabilities with business value propositions and creating tailored solutions that resonate with potential clients' specific challenges. 👉 This full-stack mentality represents more than a skill set—it's a holistic approach to professional excellence. It requires continuous learning, adaptability, and a genuine curiosity about interconnected systems and strategies. By embracing this comprehensive perspective, professionals across all domains can transcend traditional role limitations, create more innovative solutions, and deliver exceptional value to their organizations.

Il est encore temps de s'inscrire pour suivre la session #dbt animée par mes collègues Julien FOURRE, Céline Vicente et Wilson Ruzindana Ngabo. Ca se passe en ligne, ce soir à partir de 18h30 Ou bien de regarder le replay... #ModernDataStackFrance, Stéphane Heckel, #dcube