Publicação de Vitor V.

Delta Lake: Hype ou Realidade? Vamos Discutir! 🚀 Nos últimos anos, o Delta Lake tem ganhado bastante atenção como uma solução poderosa para gerenciamento de dados em data lakes. Com suporte para transações ACID, processamento de streaming e batch, é fácil entender o porquê de todo o hype. Mas será que o Delta Lake é realmente a melhor opção para todos os cenários? 🤔 Enquanto o Delta Lake certamente oferece uma série de vantagens, não podemos ignorar que existem outras soluções igualmente robustas no mercado. Um excelente exemplo é o Apache Iceberg, um formato de tabela open source desenvolvido pela Netflix que está ganhando cada vez mais espaço. Aqui estão alguns pontos de comparação: Formato Aberto vs. Proprietário: - O Apache Iceberg é um formato verdadeiramente aberto, apoiado por uma ampla comunidade de desenvolvedores. Ele é projetado para ser independente da tecnologia, permitindo uma integração suave com diversos motores, como Spark, Flink e Trino/Presto/Athena. - Delta Lake, apesar de ser open source, é fortemente associado ao ecossistema Databricks, o que pode limitar a flexibilidade para algumas organizações. Performance e Escalabilidade: - Iceberg é conhecido por sua capacidade de lidar com petabytes de dados com eficiência, suportando operações complexas como time travel e rollback. - Delta Lake também oferece excelentes otimizações de desempenho, especialmente quando usado com o Spark. Adaptação e Comunidade: - A adoção do Apache Iceberg tem crescido rapidamente, com suporte de grandes players da indústria como AWS, Snowflake e Dremio. - Delta Lake, embora muito popular, ainda é predominantemente usado dentro do ecossistema Databricks. Funcionalidades: - Iceberg oferece recursos avançados como schema evolution, particionamento oculto e otimizações de leitura/escrita. - Delta Lake é forte em processamento de dados em tempo real e integrações com machine learning no Spark. Então, qual é a melhor escolha para a sua empresa? 🔍 A resposta não é simples e depende de vários fatores, como os requisitos específicos do seu caso de uso, a infraestrutura existente e a visão de longo prazo da sua estratégia de dados. O mais importante é avaliar cuidadosamente as opções disponíveis e escolher a que melhor se alinha com as suas necessidades. Gostaria de ouvir a opinião de vocês! 📣 Quais são as suas experiências com Delta Lake e Apache Iceberg? Existem outros formatos de tabela que vocês consideram promissores? Vamos discutir nos comentários! #dataengineering #deltaLake #apacheiceberg #bigdata #datalakes #datamanagement #opensource #datastrategy

🚀 Desenvolvimento de um projeto utilizando Azure e Databricks para trabalhar com dados em um datalake! Aqui estão os principais pontos que realizei: 1️⃣ Configuração do cluster para acessar os dados no Azure Datalake. 2️⃣ Ingestão de dados nos formatos CSV e JSON. 3️⃣ Modelagem da arquitetura medalhão, utilizando o conceito de OBT para a camada silver. 4️⃣ Criação de tabelas gold normalizadas com modelagem StarSchema. 5️⃣ Extração de insights relevantes a partir das tabelas gold, transformando dados em decisões. Quero agradecer Patrick Diorio e a EmpregaDados, pelo suporte e ensinamento! #Azure #Databricks #DataLake #BigData #DataEngineering

Aos iniciados em Delta Lake (e databricks) Quando usar (ou não!) autoloader nos seus pipelines Eu sei que seu Lakehouse tem múltiplas fontes E por vezes cada uma das tabelas e endpoins de APIs funcionam de forma diferente Eis o que considerar a respeito do autoloader: Autoloader (cloudfiles) é uma ferramenta disponível no spark structure streaming (pode ser usado em batch, sem crise) para carga de dados incremental. Apontando para um diretório, ele identifica os arquivos novos desde a ultima execução, aplica os tratamentos e cargas que programados, e registra em um checkpoint os arquivos processados (por isso incremental). O uso dessa solução deixa seus pipelines idempotentes sem muito esforço, o que é ótimo! Quando usar? - landing zone to bronze é quase sempre boa pedida, já que arquivos podem ser ali ingeridos por diferentes ferramentas e em arquiteturas comuns nunca são atualizados - para outras camadas quando a origem for apenas passível de inserts (append only) Quando não usar? - Origem passível de updates (carregadas em modo upsert com merge, por exemplo) - Pipelines que por alguma razão espera reprocessamentos frequentes. Sim, se algo der errado vai precisar deletar o checkpoint e processar tudo do zero 🤦♂️ Tem usado autoloader na tua arquitetura atual? Estou pensando em escrever um artigo mais detalhado com sugestões de como escolher a melhor abordagem para processamento em ambiente spark. O que achas?

Bom dia Pessoal!!! Gostaria de compartilhar que a nossa live passou dos 1000 inscritos. Muito feliz de ver o interesse tanto nos nossos conteúdos de Business Intelligence quanto os conteúdos de Big Data, principalmente com a demanda crescendo cada vez mais por Engenharia de Dados. Nesta quarta iremos apresentar uma Solução que desenvolvemos aqui em Portugal criando uma Plataforma de dados - 100% Open Source com Apache Spark. Link nos comentários. Data: 03/07/2024. Horário: 19:00. #pentarruda #sparkanos #spark #aws #azure #gcp #dataproc #awsemr #bigquery #fabric #databricks #pentaho #pdi #etl #elt #bigdata

Salve pessoas, boa noite!!! Hoje terminei uma masterclass sobre engenharia de dados da IT Valley School oferecida pelo professor Carlos Viana, onde desenvolvemos um projeto utilizando a cloud a Azure onde fizemos a ingestão de dados direto de uma API externa utilizando Data factory e salvando os dados no formato JSON em uma camada bronze de um Data Lake. Depois utilizamos o Databricks para fazer o ETL dos dados em pySpark e salvar os dados tratados no formato CSV de volta no Data lake,em uma camada prata, onde ele estará pronto para ser consumido por um PowerBi ou algum cientista de dados para uma previsão. Para o “transporte” dos dados do Data Lake para o Databricks, foi utilizada um api, onde configuramos as permissões de acesso do Databricks no Data Lake.

🚀 Dica Databricks do Dia! 🚀 🔍 Compartilhe Dados com Segurança Usando Delta Sharing 🔍 Delta Sharing no Databricks permite compartilhar dados e ativos de IA de forma segura com usuários fora da sua organização. Aqui estão os principais benefícios e recursos: Modos de Compartilhamento: Databricks-to-Databricks: Compartilhamento direto entre workspaces Databricks. Open Sharing: Compartilhamento com qualquer cliente compatível com Delta Sharing. Delta Sharing Server: Gerenciado pelo cliente para maior controle. Segurança e Governança: Unity Catalog: Facilita o gerenciamento de acessos, auditorias e políticas de governança de dados. Controle Granular: Permite definir permissões detalhadas para acessar os dados compartilhados. Integração Ampla: Compatível com diversas ferramentas e plataformas, como Apache Spark, Pandas, Power BI, Tableau, e muitas outras. API REST: Facilita a integração com aplicativos personalizados e fluxos de trabalho automatizados. Facilidade de Uso: Interface intuitiva para configurar e gerenciar compartilhamentos de dados. Suporte para compartilhamento de tabelas Delta e ativos de machine learning. Benefícios: Acesso Seguro e Governado: Garante que seus dados são acessados de maneira segura e auditável. Flexibilidade: Permite compartilhar dados com uma ampla gama de ferramentas e plataformas. Escalabilidade: Suporta grandes volumes de dados e permite compartilhar ativos complexos de IA. Para mais detalhes e um guia completo, visite Databricks Data Sharing. #Databricks #DataEngineering #BigData #DataSharing #Tips

🚀Hoje estarei ao vivo com vocês, às 20h, para ensinar como construir seu primeiro pipeline de dados no Databricks com Delta Live Tables {DLT}. 🔥 Você vai aprender: ➡Fundamentos do Databricks e sua interface; ➡ Introdução às Delta Live Tables; ➡ Passo a passo para construir seu primeiro pipeline de dados, desde a ingestão até a análise; ➡Melhores práticas e dicas para otimizar seu pipeline com DLT. Essa é a oportunidade perfeita para aprender, tirar dúvidas em tempo real e conectar-se com uma comunidade de entusiastas de dados. 📅 10 de abril ⏰ 20h 🔗https://lnkd.in/d3ADHYxv 🔔 **Inscreva-se agora** e ative as notificações para não perder a live! #Databricks #DeltaLiveTables #PipelineDeDados #EngenhariaDeDados #AnaliseDeDados

salve rede, olha quem entrou na brincadeira de lançar sua própria data clean room? A Databricks lançou os **Clean Rooms** em public preview permitindo colaborações seguras em termos de privacidade entre organizações. Essa ferramenta permite que empresas compartilhem e analisem dados sem comprometer informações sensíveis, utilizando o Delta Sharing para uma integração perfeita entre diferentes plataformas de nuvem. As principais características incluem suporte para várias linguagens de programação (como Python e isso é bem legal) e as outras funcionalidades equivalentes ao BigQuery Clean Room e AWS Clean Room. Para mais detalhes, confira o link no primeiro comentário. #dcr #datacleanroom #privacidade

Databricks Runtime 15.2 (Beta) Ela ainda não aparece na documentação oficial, na lista de versões suportadas, mas, já aparece dentro do Databricks quando você cria um cluster novo. Nessa versão Beta, apesar da versão do Delta Lake ser a 3.1.0 ainda, já suportará o Vacuum Inventory, logo sai um post pra vocês de como funciona esse trem. E nessa versão também o Liquid Cluster entra em GA, sim todo mundo já estava utilizando, mas ainda era Preview rsrs, agora pode mandar bala, sabemos que será GA na 15.2 em diante. E você também fica de olho nas novas releases das ferramentas que usa? #Databricks #Runtime https://lnkd.in/dq9EQdPr

Otimize seus fluxos de dados usando as ferramentas mais recentes, como Astro Python SDK e integrações com plataformas como Snowflake e Google Cloud Storage (GCS). Neste mês o Apache Airflow comemora 10 anos e eu vou trazer muitas novidades pra vocês, por aqui e nas outras redes sociais. Uma delas, é o Workshop gratuito 𝘿𝙚𝙨𝙚𝙣𝙫𝙤𝙡𝙫𝙚𝙣𝙙𝙤 𝙋𝙞𝙥𝙚𝙡𝙞𝙣𝙚𝙨 𝙙𝙚 𝘿𝙖𝙙𝙤𝙨 𝙈𝙤𝙙𝙚𝙧𝙣𝙤𝙨 𝙘𝙤𝙢 𝘼𝙥𝙖𝙘𝙝𝙚 𝘼𝙞𝙧𝙛𝙡𝙤𝙬, no dia 24 de setembro. Se organize para participar ao vivo comigo! 🔥 Descubra como automatizar, transformar e orquestrar dados de forma eficiente com essas boas práticas que irão elevar seus projetos de dados a um novo patamar. 💡 Não perca essa oportunidade de acompanhar as melhores práticas do mercado de dados! 🔗 Clique aqui para saber mais: https://lnkd.in/dMNBhhnY #ApacheAirflow #EngenhariaDeDados #DAGs #OrquestraçãoDeDados #AstroPythonSDK #Snowflake #GCS #DataEngineering #EngenhariaDeDadosAcademy #Tecnologia #BigData