Compreendendo os fundamentos da Data Mesh e seus impactos na governança de dados

No cenário em rápida evolução do gerenciamento de dados, surgiu um termo que pode ser considerado simultaneamente intrigante e confuso: Data Mesh e caso, esteja com dúvidas sobre o conceito e suas implicações, saiba que não está sozinho.

Mas o que é exatamente o Data Mesh e como impacta a abordagem da Governança de Dados?

Imagine que um cliente ou seu gestor te convide a liderar um programa de governança de dados em uma organização que pretende iniciar uma jornada de Data Mesh e, mesmo que tenha um conhecimento superficial no tema, pode haver uma insegurança sobre como atuar de forma prática diante deste cenário. Por isso, quero abordar os seus fundamentos e a sua interseção com a governança de dados.

Desvendando o Data Mesh

O Data Mesh não é apenas mais uma solução de arquitetura ou infraestrutura, como por exemplo, a migração de dados para a nuvem que impactou a atuação da governança de dados há alguns anos. O conceito do Data Mesh abrange uma arquitetura distribuída, indo além do tradicional data warehouse ou datalake, onde os dados são utilizados como um recurso descentralizado, acessível através de várias APIs e sistemas.

O ponto crucial está na mudança de mentalidade que o Data Mesh exige. Não se trata apenas de fornecer soluções para atuar com dados; é uma mudança cultural que convida todas as partes interessadas a pensar de forma diferente sobre a propriedade e a acessibilidade dos dados.

Ainda que os data warehouses e datalake pudessem operar sem uma governança de dados hermética (embora de forma abaixo do ideal), o mesmo não acontece com o Data Mesh. Depende de uma revolução cultural onde os dados se tornam um ativo partilhado de todo o negócio, exigindo uma governança robusta para manter a sua integridade e usabilidade.

(NT: Neste cenário, para a implantação do Data Mesh a governança de dados deve estar num nível muito maduro, (acima de 4, em uma escala de 1 até 5 em termos de maturidade), e infelizmente são poucas empresas neste patamar. Caso contrário, é melhor investir em melhorar a maturidade dos dados, aculturamento, enfim, melhorar os pontos críticos da governança para que não haja frustração das expectativas).

A Democratização dos Dados: Apresentando Produtos de Dados

No núcleo do Data Mesh está uma mudança fundamental na forma como percebemos o valor e a acessibilidade dos dados. O termo “democratização dos dados” é mais do que uma frase cativante; é uma filosofia que molda a forma como abordamos os produtos de dados. Os produtos de dados não são despejos massivos de dados, ou seja, são conjuntos de dados que possuem valor por si próprios. Esses produtos são projetados para serem facilmente acessíveis e utilizáveis por uma ampla gama de usuários em toda a organização.

(NT: A governança tem uma atuação muito forte e proativa nos produtos de dados, garantindo sua atualização, relevância ao negócio. Cada usuário tem uma necessidade diferente, o que torna um grande desafio disponibilizar os produtos adequados a cada contexto).

O conceito de produto de dados pode parecer simples, mas a sua implementação requer uma atuação muito bem delineada tendo em vista que nem todos os dados serão integrantes a um produto de dados, pois existem critérios a serem atendidos como acessibilidade, usabilidade, descoberta, interoperabilidade e fiabilidade. Ao aderir a estes princípios, as organizações podem garantir que os seus produtos de dados são valiosos, utilizáveis e, em última análise, contribuem para a democratização dos dados.

(NT: ainda devemos considerar que os dados devem ser adequados considerando os níveis de confidencialidade, privacidade e adequabilidade pertinentes a cada tipo de usuário).

Adaptando a governança de dados para o Data Mesh

À medida que exploramos as complexidades do Data Mesh, os questionamentos sobre a atuação de governança de dados são naturais. Como a Governança de Dados pode ser efetiva neste cenário? O primeiro passo é reconhecer que uma estrutura de governança de dados que sirva para todos não será suficiente. Embora uma estrutura padronizada possa oferecer inspiração, a cultura e os desafios únicos de cada organização exigem uma abordagem personalizada.

(NT: por mais que hajam frameworks, adaptar o programa de governança a cada realidade e ajustar as iniciativas conforme os desafios, além de investir em comunicação e parcerias com as áreas são grandes diferenciais).

As funções e responsabilidades desempenham um papel fundamental na governança de dados, e o Data Mesh precisa deles para seu bom andamento trazendo o perfil dos proprietários de produtos de dados e equipes de desenvolvimento de produtos de dados, sendo um papel atualizado dos proprietários e administradores de dados tradicionais. A evolução da governança de dados diante o Data Mesh envolve a revisão destas funções, garantindo que a propriedade e a gestão dos dados se alinhem com as exigências de dados democratizados e descentralizados.

(NT: Tanto o Data Mesh precisa da governança de dados para ser efetivo e atingir seus objetivos quanto a Governança de dados ganha muito com o Data Mesh, todavia, é preciso se adaptar para atendê-lo, isso inclui a revisão de papeis e responsabilidades, aculturamento maciço, atuação muito mais próxima dos times de negócios e tecnologias).

Concluindo, a confluência de Data Mesh e Governança representa uma mudança na forma como gerenciamos e utilizamos os dados, é uma evolução cultural e arquitetônica que exige repensar as nossas estratégias e práticas de Governança de Dados para atuar efetivamente na democratização dos dados e se adaptar as complexidades do Data Mesh e aproveitar o seu potencial para melhorar a usabilidade e o valor dos dados.

Muito obrigada pela leitura!!! Sugestões são bem-vindas, e caso queira usar este artigo não se esqueça de referenciar, afinal ninguém escreve nada sozinho, e a comunidade só ganha com mais trabalhos divulgados. =-)

Artigo traduzido e com algumas considerações (nos capítulos começando com NT – nota da tradutora) mas originalmente Understanding the Basics of Data Mesh and its Impact on Data Governance de autoria de Nicola Askham. 

Agradecimentos: revisão de Juciana Rodrigues