Popsink

🚀 #ETL vs #ELT : Quelle tendance pour vos projets #Data en 2025 ? Dans l’univers de la Data, les concepts d’ETL (Extract-Transform-Load) et ELT (Extract-Load-Transform) sont incontournables pour gérer et exploiter des données.  Mais savez-vous vraiment ce qui les distingue et laquelle est la plus adaptée à vos besoins ? 🤔 Et surtout, quelle est la tendance aujourd'hui en 2025 pour vos projets Data ? 🌐 ETL : La méthode traditionnelle 1️⃣ Extract : Extraction des données des systèmes sources (Database, fichiers bruts ...)  2️⃣ Transform : Transformation dans un environnement intermédiaire (Stagging Zone)  3️⃣ Load : Chargement dans un entrepôt de données (#Datawarehouse, #Datalake ...) ✅ Use case typique : Reporting BI traditionnel, où les données doivent être nettoyées et agrégées avant d’être stockées dans un datawarehouse comme #SQL Server ou #Oracle. ⚡Avantage : Contrôle total des transformations ⚠️ Limite : Peu scalable avec de gros volumes ou des sources complexes. 🌐 ELT : La méthode moderne 1️⃣ Extract : Extraction des données des systèmes sources 2️⃣ Load : Chargement de la donnée brut dans un #datalake ou un cloud datawarehouse (Snowflake, BigQuery, etc.) 3️⃣ Transform : Transformation directement dans l’entrepôt grâce à sa puissance de calcul ✅ Use case typique : Analyse en temps quasi temps réel, intégration massive de données IoT ou multi-sources. ⚡ Avantage : Scalabilité et rapidité avec les outils modernes (Popsink par exemple) et optimal pour gérer de gros volumes de données structurées et non structurées ⚠️ Limite : Dépend fortement des capacités du datawarehouse puisque c'est la, que la transformation des données s'effectue. 🔥 Tendances en 2025 : Une domination croissante du ELT ? Les outils cloud comme Snowflake, @BigQuery ou Databricks transforment les pratiques en rendant le ELT plus attractif. 🔹 Les projets de Machine Learning s’appuient souvent sur des pipelines ELT pour exploiter des volumes massifs et variés. 🔹 Les cas d’analyse temps réel ou de gestion multi-cloud privilégient également le ELT grâce à sa flexibilité. 🔹 Cependant, l’ETL reste pertinent dans des environnements où le respect strict des politiques de sécurité ou la faible complexité des données est prioritaire. Bien sur, tout dépendra de vos use-cases, des besoins des stakeholders et de la valeur que vous souhaitez apporter à vos projets ! Exemples de use cases : -> ETL : Reporting réglementaire dans la RH (suivi des effectifs, répartition, tranches d'âges ...). -> ELT : Monitoring IoT pour un fabricant industriel, suivi de stock en temps réel ...) Et vous, avez-vous observé un basculement vers le ELT ?  Et vous, qu'utilisez-vous dans vos projets #Data ?  Partageons nos expériences et discutons ensemble de ces tendances de #DataIntegration en #2025. 

🚀 Exciting news from Popsink! We’re introducing our new Source Connector for Snowflake - designed to streamline data workflows and eliminate the challenges of historical data copy-pasting. With this new connector, you can effortlessly and continuously capture and sync changes from #Snowflake to your operational systems or tools. Whether you’re ensuring your #CRM has up-to-date customer insights, syncing analytical data with your #ERP, or powering #AI and user-facing scenarios, this connector has you covered. What makes it stand out? ✅ Guaranteed data consistency: precise change tracking ensures reliable replication and no data loss. ✅ Efficient data pipelines: resource-efficient, low-latency availability, and cost-effective! ✅ Automation at its best: sync changes as it happens, 𝑛𝑜 𝑜𝑟𝑐ℎ𝑒𝑠𝑡𝑟𝑎𝑡𝑖𝑜𝑛 or triggers to manage! Leveraging Snowflake’s powerful CHANGE clause, this connector is perfect for modern, scalable data movements. You can already check it out on our website and start a free trial to see how Popsink can simplify your data integration! 💻 Read more about it here => https://lnkd.in/eVqkXWSD We’d love to hear how you’re leveraging #CDC in your operational workflows— drop your thoughts or questions below. 💬 Adrien Autones Maxime Simon Vincent Gauthier Nadir Djadi Ivan Smets Astrid TOURNERIE #DataIntegration #DataEngineering

🎄✨ Joyeux Noël 🎁 Je travaille fréquemment avec des clients qui peinent à récupérer efficacement les données de leurs logiciels installés on-premise. Encore plus quand les logiciels fonctionnent depuis 20, 30, 40+ ans. Il y a quelques semaines, je rencontrais Benjamin Djidi, co-fondateur de Popsink, qui me parlait de l'outil qu'ils ont développé pour répondre à ce besoin. Il explique comment popsink permet d'intégrer des données de systèmes installés dans des périmètres sécurisés on-premise avec Snowflake. 🎅 Au programme : ce qu'est Popsink, avec un scénario concret d'intégration de données CRM et AS400 📺 https://lnkd.in/e5RzVDKm #Snowflake #DataIntegration #Popsink

Are you exploring CDC in Snowflake ❄️ ? Then this is relevant for you :)

Journaling DB2 on AS/400 is one of those topics that comes up a lot - basically every time we discuss integration with these systems. And it makes sense given how essential it is for Change Data Capture and data ingestion / replication. To help demystify the process, we’ve put together a little guide covering: • What journaling means for data replication from DB2 • Some key concepts to understand when talking about journals • How to set it up and manage it effectively • Some tips and scripts to manage CDC lifecycle and estimating usage If you’re working with data ingestion from IBM i machines or preparing for CDC, this resource can help you navigate the process with confidence. Read the full article here: https://lnkd.in/ewJsGJvJ #Mainframe #CDC #DB2 #IBMi #ChangeDataCapture #ETL #ELT

Merci à Zenika de financer nos déplacement dans des évènements comme le Salon BIG DATA & AI PARIS 🙏 Merci également à Arthur LUCAS de m'avoir accompagné, il ne peut y avoir de vision complète sans un sales au côté du tech 😉 C'est le type d'évènements qui nous permet de prendre la mesure et les tendances du marché afin de trouver les meilleures solutions aux besoins de nos clients 💡 Voici un rapide retour de notre visite sur une journée ! #data #bigdata #ia #ai #paris

C’est parti pour le Salon Big Data ! Retrouvez nous au stand E20 Modeo / Popsink au Parc des Expositions Porte de Versailles. Au programme, plusieurs démo et REX avec Auchan Retail dbt Labs Believe AssoConnect Scaleway… et notre animation : Data Engineer for Simracing 🏁

Popsink, temps réel et Change Data Capture, ... On parle temps réel, Change Data Capture (CDC) et de son rôle dans la modernisation des systèmes d'information avec Benjamin Djidi. Le CDC permet de répliquer les données d'une base de données source vers une base de données cible de manière incrémentale. Benjamin évoque les avantages du CDC par rapport aux méthodes traditionnelles de réplication des données, comme l'ETL et l'ELT, en termes de performance, de sécurité et de fiabilité. Il aborde également des différents cas d'utilisation du CDC dans des contextes de migration vers le cloud et d'intégration de systèmes legacy. Enfin, il présente Popsink, la société française spécialiste des solutions de CDC comme alternative abordable aux solutions américaines ! Go go go Popsink !

On vous l'annonçait il y a une semaine, Popsink et Modeo seront présents ensemble au Salon BIG DATA & AI PARIS ! 🎉 Pour l’occasion on a échangé au micro de notre Stéphane national pour parler un peu du joli programme que l’on vous a concocté. Un échange aussi improvisé que fun où on a eu l’occasion d'aborder aussi bien la stack data Made in France 🐓, le Salon BDAI, l’AS400 (petite private joke), et - bien sûr - dévoiler un peu plus le programme du stand Popsink x Modeo : 🚀 𝟸 𝑗𝑜𝑢𝑟𝑠 𝑑𝑒 𝑚𝑖𝑛𝑖–𝑐𝑜𝑛𝑓é𝑟𝑒𝑛𝑐𝑒𝑠 𝑎𝑣𝑒𝑐 𝑑𝑒𝑠 𝑅𝑒𝑡𝑜𝑢𝑟𝑠 𝑑'𝐸𝑥𝑝é𝑟𝑖𝑒𝑛𝑐𝑒, 𝑑𝑒𝑠 𝑇𝑎𝑙𝑘 𝑆𝑡𝑟𝑎𝑡é𝑔𝑖𝑞𝑢𝑒, 𝑑𝑒𝑠 𝐼𝑛𝑣𝑖𝑡é𝑠, 𝑒𝑡 𝑑𝑒𝑠 𝐷𝑒𝑒𝑝 𝐷𝑖𝑣𝑒𝑠 𝑡𝑒𝑐ℎ𝑛𝑜𝑙𝑜𝑔𝑖𝑞𝑢𝑒𝑠 𝑠𝑢𝑟 𝑙𝑒𝑠 𝑑𝑒𝑟𝑛𝑖è𝑟𝑒𝑠 𝑡𝑒𝑛𝑑𝑎𝑛𝑐𝑒𝑠 #𝐷𝑎𝑡𝑎 𝑒𝑡 #𝐼𝐴. 🏎️ 𝑉𝑒𝑛𝑒𝑧 𝑐𝑜𝑛𝑑𝑢𝑖𝑟𝑒 𝑙𝑎 𝐷𝑎𝑡𝑎 𝑀𝑜𝑏𝑖𝑙𝑒 𝑔𝑟â𝑐𝑒 𝑎𝑢 𝑠𝑖𝑚𝑢𝑙𝑎𝑡𝑒𝑢𝑟 𝑑𝑒 𝑐𝑜𝑢𝑟𝑠𝑒 𝑎𝑢𝑡𝑜𝑚𝑜𝑏𝑖𝑙𝑒 ! Pour rappel, le Big Data et IA c’est: 📅 𝟭𝟱-𝟭𝟲 𝗼𝗰𝘁𝗼𝗯𝗿𝗲 𝟮𝟬𝟮𝟰 📍 𝗣𝗮𝗿𝗶𝘀 𝗘𝘅𝗽𝗼 - 𝗣𝗼𝗿𝘁𝗲 𝗱𝗲 𝗩𝗲𝗿𝘀𝗮𝗶𝗹𝗹𝗲𝘀 🎯 𝗦𝘁𝗮𝗻𝗱 𝗘𝟮𝟬/𝟮𝟭 ➡️ 𝗧𝗲́𝗹𝗲́𝗰𝗵𝗮𝗿𝗴𝗲𝗿 𝘃𝗼𝘁𝗿𝗲 𝗣𝗮𝘀𝘀 𝗚𝗿𝗮𝘁𝘂𝗶𝘁 (lien en commentaire) Alors passez sur le stand pour: • 𝗘𝗰𝗵𝗮𝗻𝗴𝗲𝘇 𝗮𝘃𝗲𝗰 𝐝𝐞𝐬 𝗲𝘅𝗽𝗲𝗿𝘁𝘀 𝘀𝘂𝗿 𝘃𝗼𝘀 𝗱𝗲́𝗳𝗶𝘀 𝐞𝐭 𝐞𝐧𝐣𝐞𝐮𝐱 𝗱𝗮𝘁𝗮 • 𝗘𝘅𝗽𝗹𝗼𝗿𝗲𝘇 𝗹𝗲𝘀 𝘀𝘆𝗻𝗲𝗿𝗴𝗶𝗲𝘀 𝐞𝐭 𝐨𝐩𝐩𝐨𝐫𝐭𝐮𝐧𝐢𝐭é𝐬 𝐝𝐞 𝐩𝐚𝐫𝐭𝐞𝐧𝐚𝐫𝐢𝐚𝐭 • 𝐃𝐞𝐦𝐚𝐧𝐝𝐞𝐫 𝐮𝐧𝐞 𝐫𝐞𝐯𝐮𝐞 𝐠𝐫𝐚𝐭𝐮𝐢𝐭𝐞 𝐝𝐞 𝐯𝐨𝐭𝐫𝐞 𝐢𝐧𝐟𝐫𝐚𝐬𝐭𝐫𝐮𝐜𝐭𝐮𝐫𝐞 𝐝𝐚𝐭𝐚 Ne manquez pas cette opportunité unique de poser vos questions à nos équipes dédiées, de découvrir nos solutions de pointe et d'explorer les applications Data et IA dans votre organisation. 👉 On vous partage en commentaire le lien vers l’agenda des talks qui sera continuellement mis à jour! N'hésitez pas à contacter notre équipe pour planifier votre visite ou pour toute autre question!

Popsink sera au Salon BIG DATA & AI PARIS ! Cette année, on fait la même équipe avec Modeo pour vous offrir des insights précieux sur les dernières tendances #Data et #IA. Et ce n'est pas tout ! On a un programme chargé et bourré de surprises dont nous vous révèlerons le contenu sur les jours qui viennent 😉 📅 𝟏𝟓-𝟏𝟔 𝐨𝐜𝐭𝐨𝐛𝐫𝐞 𝟐𝟎𝟐𝟒 📌 𝐏𝐚𝐫𝐢𝐬 𝐄𝐱𝐩𝐨 - 𝐏𝐨𝐫𝐭𝐞 𝐝𝐞 𝐕𝐞𝐫𝐬𝐚𝐢𝐥𝐥𝐞𝐬 🎯 𝐒𝐭𝐚𝐧𝐝 𝐄𝟐𝟎/𝟐𝟏 ➡️ 𝐓𝐞𝐥𝐞́𝐜𝐡𝐚𝐫𝐠𝐞𝐳 𝐯𝐨𝐭𝐫𝐞 𝐏𝐚𝐬𝐬 𝐆𝐫𝐚𝐭𝐮𝐢𝐭 𝐢𝐜𝐢 :https://lnkd.in/eUbCpVnK Les premières annonces sur le programme arrivent très vite, d’ici là n'hésitez pas à vous rapprocher de nous ou de Modeo pour organiser votre visite 🚀