Navegando pelo Data Mesh e evoluindo a governança de dados: um guia prático

No meu artigo anterior, examinei o conceito de Data Mesh e sua relação com a Governança de Dados. Agora, trago insights práticos e as estratégias para que seja bem-sucedido considerando as complexidades do Data Mesh, e ao mesmo tempo, fortalecendo a nossa abordagem à governança de dados.

Estratégias para integrar a Governança de Dados com Data Mesh

Imagine que haja uma intersecção entre duas estradas paralelas: Data Mesh e Governança de dados. Como garantir uma transição suave de uma estrada para outra sem causar caos no trânsito? A resposta está em uma estratégia bem pensada que integre os princípios da governança de dados às demandas exclusivas do Data Mesh.

Abrace a complexidade: o Data Mesh desafia a noção de um data warehouse ou datalake centralizado, abordando uma arquitetura descentralizada onde os produtos de dados são acessíveis através de APIs e vários sistemas.

Esta abordagem é bem mais complexa e exige uma atuação diferenciada da governança de dados tradicional para assegurar a democratização dos dados, mantendo ao mesmo tempo a qualidade e a consistência.

Defina funções e responsabilidades claras: o surgimento de proprietários de produtos de dados e equipes de desenvolvimento agrega novas atribuições aos papeis e responsabilidades definidos na governança de dados, funções estas, que são vitais ao modelo de data mesh e devem alinhar-se perfeitamente para garantir uma gestão eficaz dos recursos de dados descentralizados.

Cultive uma mentalidade que prioriza os dados: Data Mesh não envolve apenas mudanças tecnológicas; é uma mudança cultural que exige que todos na organização adotem uma mentalidade que prioriza os dados, e neste cenário, a Governança de Dados deve promover a colaboração entre as equipes de negócios e de dados para assegurar que os produtos de dados tenham valor, relevância e sejam compreensíveis além de garantir conformidade com os padrões de qualidade.

Complexidade X Simplicidade x Produtos de Dados

A democratização dos produtos de dados no contexto do Data Mesh apresenta oportunidades e desafios. Como encontrar o equilíbrio entre tornar os dados acessíveis e garantir sua qualidade e usabilidade? A resposta está em um conjunto de princípios básicos que definem o que constitui um produto de dados:

Acessibilidade: Os produtos de dados devem estar disponíveis em vários formatos, atendendo às diferentes necessidades dos usuários. Essa acessibilidade garante que os usuários possam facilmente utilizar os dados.

Compreensibilidade: Documentação e definições claras são cruciais. Os usuários devem ser capazes de compreender o que cada produto de dados contém, como ele pode ser usado e exemplos relevantes que demonstrem seu valor.

(NT: diversos perfis de usuários precisam estar aptos a utilização do produto, para isso, uma documentação escrita de forma simples, concisa e direta, e principalmente, acessível é primordial.)

Capacidade de descoberta:  documentos referenciais como dicionários, catálogos e glossário de dados acessíveis, atualizados e disponíveis para que os usuários localizem e utilizem os produtos de dados com autonomia e independência são indispensáveis, uma boa prática é mantê-los centralizados em uma única plataforma para facilitar a capacidade de descoberta de quem os procura.

Interoperabilidade: Os produtos de dados devem ser concebidos para funcionar bem sozinhos ou como integrantes de outros produtos, promovendo um ambiente colaborativo onde vários produtos de dados se complementam para gerar informações valiosas.

Confiabilidade: a qualidade dos dados é fundamental. Os produtos de dados devem aderir aos padrões de qualidade de dados definidos, garantindo que os usuários confiem na precisão e integridade dos dados que acessam.

Evolução da governança de dados na era do Data Mesh

A governança de dados não é estática; é um processo vivo que evolui para atender às demandas de cenários de dados onde a mudança é a maior certeza. No contexto do Data Mesh, esta evolução assume novas dimensões:

Flexibilidade nas funções e responsabilidades: embora as funções tradicionais de governança de dados continuem essenciais, o perfil dos proprietários de produtos de dados e das equipes de desenvolvimento introduz uma camada de complexidade, sendo necessário uma atualização das responsabilidades para garantir uma governança eficaz e minimizar conflitos.

Propriedade holística de dados: a propriedade de dados ganha ainda mais importância com o Data Mesh. Como os produtos de dados abrangem vários domínios e aplicações, ter um proprietário de dados com uma visão do todo é vital para garantir a tomada de decisões assertivas.

Adaptabilidade: o Data Mesh não é uma solução única para todos. Espere o inesperado e se prepare caso precise adaptar, mudar ou mesmo rever sua abordagem de governança de dados à medida que obtém insights de implementações reais. Flexibilidade e adaptabilidade serão suas aliadas.

(NT: muitas empresas embarcaram no Data Mesh por ser uma tendência, todavia, nem toda empresa tem maturidade em dados suficiente para aderir a este programa.

É preciso enfatizar que existem diversas variáveis a se considerar como pessoas capacitadas, tecnologias e arquitetura necessárias, sem falar em um bom estágio de aculturamento em dados que poucas empresas possuem no momento. Todas essas circunstâncias também exigem um investimento financeiro considerável.

Muitas vezes, a empresa não está no momento propicio para esta iniciativa e um programa de governança centralizado bem estruturado aliado a uma arquitetura aderente ao negócio se torna mais atraente e benéfico, principalmente para os que estão nos estágios iniciais de implementação. Não podemos esquecer que Governança de Dados é um programa não um projeto, ou seja, irá dispender um bom período de tempo até alcançar maturidade elevada. Isso não impede que princípios do Data Mesh sejam aderidos de forma gradual com iniciativas simples e bem executadas).

Considerações finais

Navegar na intersecção entre Data Mesh e Governança de dados requer um equilíbrio delicado entre complexidade e simplicidade. A democratização dos dados através de produtos de dados capacita as organizações com informações valiosas, mas isto deve ser aliado a uma governança robusta para garantir que os dados permanecem fidedignos e utilizáveis.

À medida que a jornada continua, lembre-se de que o Data Mesh não é um destino estático; é uma evolução dinâmica que exige abertura, colaboração e vontade de aprender tanto com os sucessos como com os desafios. Ao adotar os princípios de criação de produtos de dados e adaptar sua abordagem de governança de dados, você estará mais bem equipado para aproveitar o potencial do Data Mesh e gerar resultados de negócios significativos.

(NT: como toda iniciativa é necessário resiliência e paciência para lidar com os desafios que irão surgir a todo momento).

 Artigo traduzido e com algumas considerações (nos capítulos começando com NT – nota da tradutora) mas originalmente Navigating Data Mesh and Evolving Data Governance: A Practical Guide de autoria de Nicola Askham.

Agradecimentos: revisão de Juciana Rodrigues