Publicação de Lucas Ramalho

🔧 Transformando dados com eficiência! 🔧 Nosso arquiteto de dados, Diego Ferrarini, demonstra na prática como o DBT (Data Build Tool) pode revolucionar a forma como transformamos dados dentro de um pipeline ELT. 🚀 Se você quer entender melhor como o DBT otimiza a qualidade dos dados, automatiza testes e melhora a colaboração entre equipes, não pode perder este vídeo! Assista e veja como aplicamos essas soluções na MentorsTEC para garantir o sucesso dos nossos projetos. 📊 Quer saber mais? Siga-nos no LinkedIn e acompanhe nossa série de postagens sobre ferramentas e soluções de dados que estão mudando o mercado! #MentorsTEC #DBT #DataTransformation #ArquitetoDeDados #InovaçãoEmDados #ELT #Tecnologia

Pra galera de #dados e entusiastas!! Sabemos que criar um data warehouse é um processo complicado e que veio evoluindo muito nos últimos anos. Atualmente vejo muitas pessoas falando sobre a Modern Data Stack e Data Warehouse Medallion, mas vejo poucos times conseguindo executar isso nas suas empresas. Pensando nisso o Luca criou um curso "Do 0 ao DW com Erathos, dbt Labs e BigQuery." São 2 horas de aula onde você vai aprender sobre extração e ingestão de dados + orquestração de data pipelines com a Erathos, criação de models com o dbt e como usar o BigQuery como DW numa estrutura medalhão. A, os 100 primeiros não pagam com o cupom que está nos comentários 👀 https://lnkd.in/eTzkf8U4

Certificado conquistado! 🎉 Concluí o curso de Data Mesh: uma abordagem distribuída para dados na Alura e estou muito feliz com todo o conhecimento adquirido. Descobri como uma arquitetura da Data Mesh se beneficia de conceitos e boas práticas de outras áreas, aprendi como os quatro princípios estão conectados de forma concreta e entendi as implicações do pensamento de dados como produto. Além disso, aprendi como a governança pode ser centralizada e decentralizada ao mesmo tempo em uma arquitetura distribuída e como permitir queries federadas para cortar intermediários e melhorar a comunicação e a qualidade de acesso a dados. 🚀 #DataMesh #ArquiteturaDeDados #AprendiNaAlura

Está chegando a hora! Faltam só 3 horas para o início do workshop Será no Youtube nesse link: https://lnkd.in/dyMtxwpj Garanta sua participação, 👆 é só se inscrever no canal e curtir o vídeo! Você vai aprender nesse workshop técnico: - Diferença entre Data Lake, Data Warehouse, Data Mesh e Lakehouse - Criar um Data Lakehouse do ZERO na AWS RDS com arquitetura medalhão - Processar grandes volumes de dados utilizando o DuckDB - Implementar atualizações diárias em um sistema de CRM - Transformar e modelar dados de forma eficaz com o dbt-core. - Desenvolver dashboards interativos com o Taipy Por que participar? - Hands-on completo - Foco em open source - Otimização de performance - Alan Lanceloth Rodrigues Silva que vai participar, que tem uma das nossas melhores avaliações em encontros da Jornada de Dados! Para participar é muito fácil, Só se inscrever no canal e curtir o vídeo, até ás 20h!

Pior coisa pra quem trabalha com dados é ficar na mão de quem nao entende a sua necessidade! Como eu passei sufoco em times quando nao tinha acesso administrativo pra fazer nada... Pior coisa e ainda bem que as coisas estao mudando! Entendo que inclusive uma abordagem mais descentralizada com Data Mesh possibilita e habilita isso nas empresas de maneira rapida. Quem deveria escrever a camada GOLD e/ou TRUSTED no Lakehouse? Essa é uma questão que gera bastante debate, pois a resposta depende muito da maturidade e cultura organizacional, de dados da empresa e da comunicação e colaboração entre os times. 1. Time de Engenharia de Plataforma: - Prós: Possui expertise técnica para garantir que a camada GOLD esteja bem estruturada, escalável, otimizada e siga padrões de governança e segurança. São capazes de implementar pipelines robustos e consistentes, garantindo qualidade nos dados e performance. - Contras: Podem não ter o conhecimento profundo sobre o negócio para definir os KPIs e as transformações de dados mais adequadas às necessidades estratégicas. 2. Time de Dados do Negócios: - Prós: Conhecem profundamente os indicadores de desempenho, métricas e as nuances das operações que a camada GOLD deve suportar. Estão mais alinhados com os objetivos estratégicos e têm clareza sobre o valor que cada dado representa. - Contras: Normalmente, não possuem as habilidades técnicas necessárias para construir pipelines de dados, realizar otimizações complexas ou garantir a governança e a segurança de dados adequadamente. Quero compartilhar minha visão, estou falando isso baseado na minha experiência trabalhando em areas de negócios e de dados corporativos. Sinergia e colaboração entre ambos diferentes times: Idealmente, time de negócios deve trabalhar em estreita colaboração com o time de engenharia. Enquanto time de negócios define os requisitos e as métricas, o time de engenharia constrói a camada GOLD com base nesses requisitos, garantindo que os aspectos técnicos (qualidade, performance, governança) sejam atendidos. Considerando estabelecer relação bacana e de confiança entre diferentes times, vejo que naturalmente os times de dados do negócio podem inclusive absorver essa responsabilidade mas é esse ponto que pode ser revisto. Essa sinergia é fundamental para garantir que a camada TRUSTED e/ou GOLD seja tecnicamente sólida e ao mesmo tempo represente fielmente as necessidades estratégicas da empresa. Concorda com isso? Curte, comente, compartilhe ou também copie se gostou desse conteudo.

2024 acabou? não..! dá tempo de conhecer mais um pouco. Luiz Santana e Aline Alvarez compartilhando sobre governança e Databricks Unity Catalog, com direito a resumo provocativo do Wellikiandre!

Concluí recentemente mais um curso oriundo da parceria Deloitte e Udemy Business, onde pude estudar a respeito dessa incrível ferramenta chamada dbt Labs, que permite transformar dados de maneira eficiente e colaborativa, facilitando a criação de pipelines de dados robustos e auditáveis, permitindo a integração com diversas ferramentas de dados, promovendo uma análise mais ágil e confiável! Seguindo a indicação do meu nobre amigo Dagner Fonseca, agora entendo o seu entusiasmo com a ferramenta! #dbtcloud #enjoytheprocess #evoluirsempre #data #analytics

Bora obter conhecimentos na Jornada de Engenharia de Dados da BIX Tecnologia - Consultoria de Dados.

O #datamesh é a distribuição dos times de dados nas áreas de negócio. (resumo do resumo) Mas será que a área de negócio está preparada pra gerir um time técnico? Como gosto sempre de lembrar, dados é primo-irmão de desenvolvimento de software e essa mesma dificuldade existe no desenvolvimento. Para o time de negócio o que importa é código em produção, sem se preocupar com questões técnicas como processos de tecnologia (pull request, code review etc), qualidade de código, documentação. Por isso o time de desenvolvimento normalmente fica debaixo de uma gestão técnica. Em dados esse cuidado também é necessário. É fácil justificar a falta de uma automatização ou documentação do pipeline de dados em prol da velocidade do negócio. Mas essas são pontos importantes! Uma das grandes dificuldades do datamesh é o time de negócio perceber a importância das questões técnicas na sustentabilidade do negócio. Aqui entra a #governança. 🚩No datamesh a governança existe e é crucial pra fazer esse papel de achar esse equilíbrio entre técnico e negócio. É responsabilidade da governança definir padrões técnicos e cuidar para que estejam sendo seguidos. #datamesh #datascience #dataanalytics 

Hoje em parceria com o Luiz Santana começamos o treinamento de Governança de Dados com Databricks Unity Catalog na LS Treinamentos. E que prazer falar sobre Governança de Dados... um tema que muitos podem até pensar que engessa o processo, que atrasa projeto... mas vamos pensar juntos? Por que oferecer pipelines e dashboards, quando podemos oferecer Soluções inteligentes, estratégicas e eficientes em Dados??? Como? Pense estratégico! Pense fora da caixa! 🙃 Estoure a bolha de "sempre" fazer tudo "sempre" igual! Porque eu acredito que a Governança pode ser incluída no projeto e contribuir com qualidade e eficiência sim! Afinal, estamos falando de processos, qualidade, segurança e boas práticas! Processos nos levam a falar sobre eficiência e eficácia... mas fazer acontecer essas duas coisinhas, realmente cria estratégia! Eficiência é fazer bem feito; e, eficácia é fazer o que precisa ser feito. Ser estratégico ao ponto de governar o seu ciclo de vida dos dados: - com eficiência e eficácia - com diretrizes e prioridades claras - com documentações robustas - tomada de decisão e ação coerentes com o escopo - sem retrabalhos - sem perca de tempo - sem estressar o time por falta de direcionamento - com redução de custos. É isso! Pense nisso... 😉