DATANOSCO

Merci aux 500+ premiers abonnés ! Et déjà plus de 12 épisodes du #datasommelier ! S1E1 👉 Apache #Iceberg, vers un nouveau standard du stockage de la donnée ? avec Victor Coustenoble https://lnkd.in/eDXaW8Ua S1E2 👉 Découverte de The Apache Software Foundation Foundation, avec JB Onofré https://lnkd.in/esbzkhRC S1E3 👉 #FinOps, halte au gaspillage ... où les bonnes pratiques à mettre en place pour optimiser les coûts d'une plateforme data, avec Matthieu Rousseau et Ismael Goulani https://lnkd.in/eWrZvS6z S1E4 👉 Un #Lakehouse dans un cloud français, économiquement abordable et basé sur des composants #opensource interchangeables, c'est possible ? avec Vincent HEUSCHLING https://lnkd.in/evUk-qhh S1E5 👉 Talaxie, le fork Talend Open Studio. L'initiative de Jean Cazaux https://lnkd.in/ekpAxC2T S1E6 👉 De PowerMart à #IDMC, en passant par #PowerCenter, Christophe FOURNEL retrace les 30 dernières années d'Informatica https://lnkd.in/es-5-iH9 S1E7 👉 Le retour des 'Data Platforms'. Interview de Eric Mattern https://lnkd.in/evZ47CMP S1E8 👉 Le projet #Icehouse avec Victor Coustenoble, une plateforme #Lakehouse intégralement gérée, qui combine le moteur de requête #opensource #Trino et Apache Iceberg. https://lnkd.in/eTWmnUk3 S1E9 👉 Retour sur la conférence #Subsurface, organisée par Dremio qui s'est déroulée les 2 et 3 mai 2024 à New York. Charly Clairmont en profite pour nous rappeler ce qu'est Dremio et ses différents cas d'usages. https://lnkd.in/eYWGSyh2 S1E10 👉 La gouvernance de données, c'est d'abord une question organisationnelle ! Daniel MALOT nous parle de son expérience terrain et décrit les étapes nécessaires pour mener à bien un projet de gouvernance en nous faisant découvrir quelques aspects de sa solution META ANALYSIS. https://lnkd.in/eeP7HQw7 S1E11 👉 Pierre Villard retrace l'histoire de la solution Apache NiFi, véritable gateway universelle permettant le développement de pipelines de mouvements de données, aussi bien en mode batch qu'en streaming. https://lnkd.in/e-daVV7n S1E12 👉 Le streaming, une nouvelle façon de penser l'architecture des applications et d'améliorer les usages de la data ! Fred CECILIA constate que le #streaming s'impose naturellement lorsqu'on a vainement essayé d'optimiser les batch existants https://lnkd.in/edM24ybU S1E14 👉 Alexandre Guillemine de chez Foodles nous détaille toutes les étapes de son projet de migration de #PostgreSQL vers Snowflake ! https://lnkd.in/edA9M3qd S1E15 👉 Amphi, un ETL #opensource pour faire du RAG, développé par Thibaut Gourdel ! https://lnkd.in/eQuTgZ6q S1E16 👉 Cloudera, de l'ère Bigdata à l'ère de l'IA, interview de Denis FRAVAL https://lnkd.in/efgh4b6E S1E17 👉 DCP, la Data Platform ClickOps Self Service, avec le témoignage d'EDF. Interview de Frederic Collin et Edouard Rousseaux https://lnkd.in/gKuDQAHG

Contruire un Lakehouse AWS ! Comment contruire un #Lakehouse en n'utilisant que des composants Amazon Web Services (AWS) ? Voilà l'exercice imposé auquel Arnaud Milleker s'est plié lors d'un projet de migration d'une application utilisant des données Google Analytics. Arnaud compare différents services AWS tels qu'Athena, Glue et Redshift, soulignant leurs forces et faiblesses et les compromis nécessaires pour coller à l'architecture en médaillon. On parle évidemment d'Apache Iceberg, composant central dans ce projet et on en profite pour faire un point sur les nouveautés annoncées lors de l'événement re:Invent, notamment l'arrivée des tables S3 et de SageMaker, le studio all-in-one AWS !

Business Intelligence avec Python sort ce mercredi en librairie et... je ne l'ai même pas encore reçu ! Je vais être obligé de faire la queue pour l'acheter 😅 Un an de travail pour proposer une alternative open source aux géants de la BI. Le livre que j'aurais voulu avoir quand j'ai commencé. Pas de licence hors de prix, juste du Python et des solutions accessibles ! Pour fêter cette sortie, je mets en jeu 1 exemplaire ! Pour participer, les règles sont simples : ▪️ likez ce post et commentez "BI" ▪️ Tirage au sort le 8 janvier à minuit Que vous soyez un utilisateur avancé de Python ou en reconversion, j'espère que ce livre vous donnera envie d'explorer la BI autrement ! PS : Pour ceux qui n'ont pas la chance du gagnant (ou qui sont trop impatients pour attendre le tirage), le livre est disponible ici : https://amzn.to/4gAb8yJ

Rejoignez-nous pour un débat en ligne captivant sur la modélisation des données : Kimball vs. One Big Table (OBT) vs Inmon 👉 La modélisation Kimball, bien établie depuis 1996, repose sur l'utilisation de tables de faits et de dimensions, offrant une gouvernance des données améliorée. Cependant, des études récentes montrent que l'approche OBT, qui favorise une table dénormalisée unique, peut offrir des performances supérieures dans des environnements modernes comme Redshift, Snowflake et BigQuery. Avantages de l'OBT : ● Simplification des requêtes sans jointures complexes ● Accès rapide aux données avec des temps de réponse améliorés Inconvénients : ● Risque de désorganisation si les colonnes ne sont pas bien structurées ● Moins compatible avec certains outils BI comme Power BI ou Tableau 👉 La question se pose : Doit-on abandonner complètement le modèle Kimball au profit de l'OBT ? Ce débat est crucial pour les #datascientists et les #dataengineers qui cherchent à équilibrer créativité et rigueur. Une approche hybride pourrait-elle être la solution ? Participez à notre discussion pour explorer ces enjeux et partager vos expériences ! Ismael Goulani, Stéphane Heckel, Willis Nana, Axel TIFRANI

(🇬🇧 English version and additional resources in comment) Le futur de la data est Composable, Portable et Programmable. Ces principes redéfinissent la manière dont les organisations gèrent leurs données. 👉 Composable car les organisations construisent des infrastructures de données flexibles en utilisant des solutions modulaires et interchangeables. Cette approche est centrée sur une architecture multi-engines, permettant l'intégration de "moteurs" de traitement comme Snowflake ou Databricks, augmentés de divers moteurs tels que DuckDB, Trino ou Dremio, adaptés à des cas d'utilisation spécifiques, au sein d'un écosystème complexe. Au cœur de cette architecture se trouve les OTFs (Open Table Format) comme Apache Iceberg, servant de couche de stockage commune. Iceberg fournit une base accessible par différents moteurs, réduisant la duplication des données et simplifiant les processus de gestion. Les principaux avantages de la composabilité comprennent : ● Séparation du stockage et du calcul pour une allocation efficace des ressources ● Réduction des coûts en éliminant le déplacement des données entre les systèmes ● Flexibilité accrue dans l'utilisation des données et diminution du nombre de silos 👉 Portable. En adoptant une approche hybride (cloud public, cloud privé et on-prem) qui combine les avantages du cloud computing avec les besoins de souveraineté des données, cette stratégie atténue les risques tels que la dépendance au cloud, les augmentations de prix inattendues et l'enfermement propriétaire. Pour mettre en œuvre une stratégie de données portable, les organisations peuvent : ● Adopter une approche multi-cloud ou hybride ● Envisager des alternatives open-source dans leur stack technologique ● Négocier des contrats flexibles avec les fournisseurs de cloud 👉 Programmable, pour étendre les principes de composabilité et de portabilité à l'automatisation et à la gestion pilotée par le code. Cette approche "Everything as Code" s'applique désormais aux plateformes de données, à l'orchestration, à la visualisation et à d'autres aspects de l'écosystème de données. Les concepts clés incluent : ● Infrastructure as Code : automatisation de la création d'infrastructure ● Plateforme as Code : Gestion automatisée des plateformes ● Orchestration / Automatisation as Code : Exécute vos pipelines ● Dataviz as Code : Visualisation des données automatisée La future plateforme de données composable devrait inclure tous ces principes : ● Architecture modulaire permettant l'association de composants ● Flexibilité de fonctionnement, on-prem, dans le cloud ou hybride ● Configuration entièrement programmable, de l'infrastructure au traitement et à la visualisation des données ps : le mot "moderne" n'apparait aucunement dans ce mémo ! Aussi, un livre blanc écrit par Pierre-Yves BONNEFOY et Emeric Chaize de la société Olexya avec qui j'échange régulièrement sur ces sujets est disponible en libre téléchargement. Un grand merci à eux !

Les carnets de commandes des #cabinets de #conseil se vident Tous les moteurs du conseil se sont grippés en 2024, donnant un violent coup d'arrêt aux années de #croissance à deux chiffres du secteur. Alixio Change Management & Organisation Syntec Conseil Sia Partners Wavestone Human & Work EY

Our team tested hundreds of AI apps in 2024, experimenting with everything from writing songs and creating podcasts, to automating away everyday hassles. So what were the uses that really stuck? Justine Moore, Olivia Moore and the a16z Consumer team, as well as friends of the firm including Dylan Field, Amjad Masad, Aravind Srinivas, Roxanne VARZA, Grimes, and Garry Tan shared their picks from a weird and wonderful year. Link to the full, interactive list in the comments. This content is provided for informational purposes only, and should not be relied upon as legal, business, investment, or tax advice. Please see https://lnkd.in/gZB38psi for additional important details.

Excellent résumé en une image du gouffre entre les messages LinkedIn des gourous autoproclamés de l'IA, et la réalité concrète à laquelle sont confrontées la majorité des entreprises dans leur vie quotidienne ! Avant de jouer au tennis comme McEnroe, n'achetez pas une raquette, apprenez à jouer ! Avant de prendre des photos comme Cartier-Bresson, n'achetez pas un Leica, apprenez à prendre des photos ! C'est sur, c'est moins drôle, mais c'est en revanche beaucoup plus efficace. Vous n'avez pas de catalogue de données, pas de contrôle de la qualité, pas de vérification de la conformité ? Commencez par planifier tout cela avant de vous jeter dans des LLMs/agents/AGI... #data #datagovernance #formation #gouvernance

🔥 Offre de stage à ne pas manquer au sein de mon équipe à la Digital Factory de TotalEnergies : études et applications des approches d'apprentissage par renforcement pour l'ordonnancement optimal d'opérations industrielles. Un sujet solide avec du fond technique et scientifique, des données réelles, des vraies problématiques industrielles issues des métiers de l'énergie, et une équipe de choc pour vous accompagner. N'hésitez pas ! Pour plus de détails et pour postuler, c'est ici ⬇️ https://lnkd.in/edJG2d_T

TotalEnergies et l'IT : Résilience, Cloud, et plus encore  ⬇️ Un excellent article de mon collègue Alexandre Appert, CTO IT, qui présente en détail l'organisation et la stratégie IT de TotalEnergies. ✅ Un article passionnant qui permet de comprendre les enjeux informatique d'une entreprise d'envergure mondiale et qui aborde, entre autres, les sujets suivants : Migration cloud avec plus de 60% du SI et 500 applications Résilience informatique et cybersécurité Migration SAP Empreinte CO2 de l'IT Enjeux data et IA https://lnkd.in/e_YuP5ad J'en profite pour remercier toutes les équipes IT avec lesquelles je travaille quotidiennement : pas de transformation data/IA sans des équipes IT au top ! 🙏