Publicação de Adriano Portante

Hoje foi o dia de aprender mais sobre a Modelagem de dados. Ela é essencial para sabermos como as nossas consultas nos bancos de dados vão ocorrer, se serão mais rápidas, se terão mais necessidade de espaço para armazenagem, etc... Temos uma bala de prata nessas horas? Infelizmente não temos, o que temos é um DEPENDE rsrs, pois é preciso analisar aquilo que se buscar como resultado na hora de trazer os dados. 1% a mais todo dia! Patrick Diorio e EmpregaDados, Pra cima! 👊

Você conhece o conceito e a usabilidade de técnicas de SCD - Slowly Changing Dimensions? Quando migrei para a área de engenharia de dados, eu também não conhecia, mas meu primeiro projeto foi modelar uma SCD do tipo 2 dentro do DW. Com isso, precisei estudar mais sobre o tema e, um pouco mais à frente em minha carreira, apliquei novamente os mesmos conceitos para criar uma SCD do tipo 1. Vendo a necessidade da área, resolvi escrever um breve texto que explica, beeeem resumidamente, no que as técnicas podem te ajudar no momento de construir o seu DW. Espero que gostem 💙 https://lnkd.in/eAnNFdFU #data #modeling #SCD

Abordagem One Big Table (OBT) como alternativa moderna A OBT surge como um conceito alternativo à Modelagem Dimensional. Esse método é caracterizado por: 🔹Simplicidade 🔹Armazenamento de dados em uma única tabela expansiva Tem como objetivo oferecer um modelo de dados muito simplificado ao reduzir significativamente o número de tabelas que precisam ser governadas e atualizadas. Benefícios da OBT: 🔹Simplicidade 🔹Constância e governança de dados 🔹Desempenho Desafios da OBT: 🔹Desempenho 🔹Exploração dos dados 🔹Privacidade dos dados 🔹Qualidade dos dados Em resumo, a OBT pode ser muito útil para certos casos de uso, mas deve ser utilizado com cautela. Por exemplo, o modelo OBT geralmente funciona bem para casos de uso que necessitam filtrar a tabela em 1 a 3 dimensões e o resto das análises são criados com bases nesses filtros. #dataengineering #dataengineer #datanalysis #datascience

Vamos iniciar mais uma Extensão em ESTATÍSTICA APL.A ANÁLISE DE DADOS EM CIÊNCIA DE DADOS 🥳

Dois recursos que usamos bastante na análise de dados: O primeiro é o JOIN, que permite buscar dados em diferentes tabelas onde há campos em comum, unificando informações que estão espalhadas. O segundo é o alias (apelido), que facilita a leitura e simplifica à consulta, permitindo referenciar tabelas e colunas de maneira mais clara e concisa, reduz consideralvemente o tempo de consulta.

Extração de dados a partir de campo de data em diferentes bancos de dados, permite a criação de uma dimensão tempo robusta com a possibilidade de analisar dados em períodos de tempos diferentes tornando uma análise simples e bem eficiente.

Evoluindo um pouco a cada dia, pois a àrea de Dados é um mundo.

Otimização de Big Data Quando trabalho com tabelas volumosas a coluna de particionamento se tornou algo obrigatorio. E isso leva a uma pergunta, qual coluna escolher para ser a chave de partição. - Qual coluna sera usada com mais frequencia para um filtro? Cada particionamento é como se fosse uma tabela separada e a consulta acessa apenas aquela que tem o valor do filtro. - A coluna tem distribuição uniforme? Não seria muito inteligente organizar organizar os dados por um valor que seja 90% concentrado em uma valor. Dessa forma iria manter o alto volume nas consultas. - Qual a cardinalidade da coluna? Se a coluna tiver uma variedade muito grande de valores isso ira gerar uma quantidade excessiva de partições o que degrada o desempenho do sistema.

Vamos implementar nosso modelo físico de dados? Neste terceiro post sobre modelagem de dados, trarei todas as etapas para realizar esse processo. O modelo físico é o nível mais baixo e detalhado da modelagem de dados, onde os detalhes específicos de implementação são considerados, incluindo tipos de dados, índices, chaves estrangeiras, restrições de integridade, entre outros. #sql #bancodedados #analisededados #dados #rdbms #modelagem #entidades #relacionamento

Olá Rede! Continuando o aprendizado de modelagem de dados. Agora com a montagem do modelo lógico. Esse modelo é uma representação abstrata dos dados e suas relações, sem se preocupar com a implementação física no banco de dados (esse será um outro passo). Ela descreve a estrutura e as regras de negócio dos dados de forma mais compreensível para os usuários. É uma etapa importante para definir a organização dos dados antes de criar o banco de dados real. Essa representação foi criada utilizando o brModelo.