Publicação de Clerton Almeida

Na live que participei, foi abrodado temas fundamentais para a evolução da engenharia de dados. Comecamos discutindo a transformação histórica do setor, enfatizando a importância de se adaptar às mudanças tecnológicas para extrair insights valiosos. Em seguida, foi apresentado os conceitos básicos sobre data lakes, ressaltando a flexibilidade que oferecem no armazenamento de dados brutos em grande escala. Ao falar sobre silos de dados, foi explicado as diferenças entre os processos de ETL e ELT, destacando as vantagens de cada abordagem para a integração e análise de dados. No contexto dos formatos de arquivo para big data, foi explorado as opções mais comuns, como Parquet, Avro e ORC, e seus respectivos benefícios. Foi abordado também os três Vs do big data: volume, variedade e velocidade, que são cruciais para entender os desafios do gerenciamento de dados em larga escala. Foi discutido os problemas associados aos data lakes, como a falta de governança e controle de qualidade, levando à criação do paradigma do Data Lakehouse, que combina o melhor dos data lakes e data warehouses. A discussão incluiu uma análise das arquiteturas Lambda e Kappa, explicando suas aplicações na engenharia de dados em tempo real e em lote. Foi enfatizado a relevância do Apache Spark como uma ferramenta poderosa para processamento e análise de grandes volumes de dados. Finalizando, foi explorado a Medallion Architecture, uma abordagem estruturada para gerenciar dados em diferentes camadas de refinamento, garantindo eficiência e confiabilidade nos processos de análise. Essa conversa foi essencial para compreender as tendências e desafios atuais no campo da análise de dados. Obrigado Rodolfo Barbosa e parabéns ao Arthur Luz pela dinâmica e pela excelencia ao transmitir o conhecimento. #engenhariadedados #dataenginnering #apachespark #databriks 🚀🚀🚀

🚀 Compartilhando aqui meu projeto em engenharia de dados. Com a ajuda das lives e aulas do Luciano Vasconcelos Filho na Jornada de dados, criei uma infraestrutura completa de uma pipeline de dados, ond é realizada a extração e transformação de dados, além da criação de dashboards interativos para análise de negócios. Os próximos passos é evoluir para a implementação de testes de qualidade de dados, linhagem e catalogação. Link do projeto nos comentários. #engenhariadedados #aprendizagemcontínua #datawarehouse #medallionarchitecture #dataengineering #datascience #bigdata

Pra galera de #dados e entusiastas!! Sabemos que criar um data warehouse é um processo complicado e que veio evoluindo muito nos últimos anos. Atualmente vejo muitas pessoas falando sobre a Modern Data Stack e Data Warehouse Medallion, mas vejo poucos times conseguindo executar isso nas suas empresas. Pensando nisso o Luca criou um curso "Do 0 ao DW com Erathos, dbt Labs e BigQuery." São 2 horas de aula onde você vai aprender sobre extração e ingestão de dados + orquestração de data pipelines com a Erathos, criação de models com o dbt e como usar o BigQuery como DW numa estrutura medalhão. A, os 100 primeiros não pagam com o cupom que está nos comentários 👀 https://lnkd.in/eTzkf8U4

💡 Fala pessoal!!! Dando sequência no assunto Engenharia de dados, hoje, vamos falar sobre Data Pipeline e sua importância. Bora!!! 🚀 Dia 2: A Importância do Data Pipeline ⚙️ O que é um Data Pipeline?  Um Data Pipeline é um conjunto de processos que automatiza o movimento de dados de uma fonte até um destino, como um banco de dados, data warehouse ou data lake. Principais etapas de um pipeline de dados: Ingestão: Coleta de dados.  Processamento: Limpeza, transformação e enriquecimento dos dados.  Armazenamento: Persistência dos dados em um banco adequado.  Entrega: Envio dos dados processados para quem vai consumi-los.  🔹 Por que é importante? A eficiência de um pipeline impacta diretamente a velocidade e a qualidade das decisões baseadas em dados. Automação: Reduz erros manuais e economiza tempo.  Eficiência: Processa grandes volumes de dados de forma escalável.  Qualidade: Garante dados limpos e prontos para insights.  Agilidade: Facilita decisões rápidas em tempo real ou em batch.  💡 Ferramentas como Apache Airflow, Kafka e dbt tornam esse processo ágil, monitorável e robusto. Em um mundo movido a dados, pipelines bem estruturados são essenciais para transformar dados brutos em valor real. 💡 Ter pipelines robustos é crucial para garantir que as informações certas cheguem no momento certo. 🌎 Comente e compartilhe.  #EngenhariaDeDados #PipelineDeDados #BigData #Automação #DataScience #Tecnologia #DataPipeline #DataEngineering

Formação da Alura em Data Mesh (Data Products). Arquitetura, seus princípios, estruturas básicas, métodos de testes e de controle de qualidade de um Data Mesh. - Curso: Data Mesh - Abordagem distribuída para dados. - Curso: Data Mesh - Dados como produtos. - Curso: Data Mesh - Gerenciando controle e dependências. - Curso: Data Mesh - Infraestrutura e planos.

🔧 Transformando dados com eficiência! 🔧 Nosso arquiteto de dados, Diego Ferrarini, demonstra na prática como o DBT (Data Build Tool) pode revolucionar a forma como transformamos dados dentro de um pipeline ELT. 🚀 Se você quer entender melhor como o DBT otimiza a qualidade dos dados, automatiza testes e melhora a colaboração entre equipes, não pode perder este vídeo! Assista e veja como aplicamos essas soluções na MentorsTEC para garantir o sucesso dos nossos projetos. 📊 Quer saber mais? Siga-nos no LinkedIn e acompanhe nossa série de postagens sobre ferramentas e soluções de dados que estão mudando o mercado! #MentorsTEC #DBT #DataTransformation #ArquitetoDeDados #InovaçãoEmDados #ELT #Tecnologia

Você sabe os maiores problemas dos Data Lakes convencionais? 🤔 Aqui estão: - Governança de dados não integrada. - Qualidade de dados é feita por soluções externas. - Consolidação de dados é difícil por falta de ACID. - Performance de consultas em formatos de dados diversos. E sobre os Data Warehouses? - Custo alto. - Necessita de schema para armazenamento de dados. - SILO de dados. - Horas de Engenharia para ETL. Quais as alternativas para termos um ambiente ideal? É aqui que o Lakehouse entra, ou seja, o Lakehouse vem com uma alternativa que tenta trazer o melhor entre os dois conceitos acima. Vou falar mais sobre isso em nosso Data Experience Meetup em Belo Horizonte no dia 21/08 (quarta-feira). Se você quer aprender mais sobre esse assunto não pode perder. Será na Universidade FUMEC - Oficial às 19h e por ser presencial, a sala lota rápido, clique no link nos comentários para fazer a sua inscrição. Se você for manda um "EU vou" aqui pra mim? Obs: Já estamos com 59 pessoas confirmadas. 😎 Te vejo lá.

Você conhece o conceito de Features Store 🛒? Isso mesmo, pensamos em construir/criar/gerar o modelo e depois de pronto dá pra reutilizar boa parte daquele processo doloroso 😣 e cansativo de ETL. Features Store economizam recursos de engenharia de dados pois mantém features prontas para novos projetos de machine learning. Nelas são concentrados dados já transformados pelo processo de ETL prontos para serem utilizados em modelos preditivos. É uma explicação básica sobre um sistema de dados complexo responsável por executar as pipelines do processo de ETL (de novo). Foi só uma pitada de conhecimento 😀, dentre tanta coisa legal que o Mago Téo Calvo mostrou essa semana, lá no Workshop Data Science com Databricks da Comunidade Mulheres em Dados. #datascience #dataanalytics #featurestore #mulheresemdados #databricks #teocalvo

Arquitetura com referências para Plataformas de Dados Modernas 😎 O Modern Data Stack é uma realidade e agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo #timeToValue. O surgimento do MDS se deu por causa do: - Amadurecimento da área de Dados; - Tecnologias mais sólidas; - Conceitos e práticas bem elaboradas na área de dados. No MDS, as ferramentas e serviços são agrupados em conjuntos de conceitos e metodologias, que são: ✅ Data Mesh ✅ Metric Layer ✅ Data Catalog 3.0 ✅ Data Observability ✅ Data Team as Product Teams ✅ Reverse ETL Esses conceitos vão além de tecnologias e trazem fundamentos para uma área de dados bem organizada e em constante evolução. Na imagem do post, há uma arquitetura com diversas referências para montar sua Arquitetura de Dados Modernas. E você, tem praticado e utilizado o MDS nos seus projetos? #ModernDataStack  #DataArchitecture #LeanArchitecture #Data #BigData #DataEngineering #AWSCommunityBuilder

Para projetar um modelo de dados dimensional, é essencial compreender profundamente os requisitos de negócios e ter um bom conhecimento das fontes de dados. A implementação mais comum da Modelagem Dimensional é o Star Schema, amplamente adotado como camada de apresentação na maioria dos data warehouses nas últimas décadas. Este método organiza os dados de maneira desnormalizada em torno de eventos mensuráveis, conhecidos como Fatos, e dos detalhes contextuais que cercam esses eventos, chamados de Dimensões. No artigo de Juliana Maria Lopes, Data Architect Specialist na GFT Technologies, abordaremos a Modelagem Dimensional. Vamos explorar os pontos fortes e os desafios dessa abordagem, além de discutir as melhores práticas para implementá-la no Databricks. Acesse agora: https://lnkd.in/dWPdcbhu #GFTBrasil #BlogGFT