Engenharia de Dados | PySpark | Python | SQL | Databricks | Spark| AWS | Analytics Engineer
Data Mesh - Conhecendo os Princípios Na semana passada fiz um post sobre Data Mesh (http://surl.li/suwjf), onde falei sobre minhas primeiras impressões e meu entendimento sobre o assunto. Continuando de forma direta, hoje quero apresentar os princípios que regem a cultura organizacional Data Mesh. Data Mesh está fundamentado em quatro princípios: 1 - Princípio de Domínio 2 - Dados como Produto 3 - Plataforma de Autoatendimento de dados 4 - Governança Federada É preciso deixar claro que não são princípios isolados, se comunicam entre si e entre outros domínios. A definição do Princípio de Domínio diz que as áreas de negócio atuam de forma independente e descentralizada, não mais esperando que o setor de T.I entregue os dados, mas que o domínio atue próximo a fonte, obtendo em primeira mão, com agilidade. Essa abordagem de aproximar os domínios da fonte de dados permite que experimentações e produtos sejam criados, testados e validados com maior rapidez. Já Dados como Produtos considera que os dados que os domínios geram serão produtos utilizados tanto pelo domínio de origem, quanto por outros domínios. Isso quer dizer que um domínio de compras pode usar os produtos do domínio de produção para otimizar e reduzir gastos desnecessários. Vale destacar que os produtos não são apenas dashboards, mas dados tratados em formatos para armazenamento, tabelas de banco de dados, modelos de ML e afins. O Princípio da Plataforma de Autoatendimento prega que os produtos de dados criados devam ser facilmente localizados e utilizados por outros domínios. Apesar da plataforma ser globalmente acessível pela organização, pelo DM, a governança é federada, como dito no próximo princípio. O Princípio da Governança estabelece que cada DPO (Data Product Owner) tenha controle sobre os seus produtos, permitindo que outros domínios acessem e que tipo de permissões tenham. Ainda sobre a governança, é dito que cada domínio tenha um especialista da área para compor o quadro federado. Como podemos perceber, implementar o Data Mesh não é tão simples e arrisco a dizer que é custoso. Apesar dos princípios serem bem estabelecidos e claros em suas obrigações, eles necessitam de uma estrutura robusta, ainda que descentralizada e enxuta. Outro ponto que me chama atenção é que para organizações que estão começando, com pouco caixa, montar times de DM pode ser inviável - o que as obrigaria a utilizar uma estrutura mais centralizadora e tradicional - não há problema algum nessa escolha. Por outro lado, é fato que ela tem muito para agregar no cenário atual que exige inovação rápida e uso de dados com base em decisões. Uma ótima Segunda e semana! Deus vos abençoe! 🙏 E se você curtiu, deixe o like e se possível, compartilha! Muito obrigado 🙌
