Dados Mestres e Dados de Referência

Os processos de operações de negócio requerem dados a respeito dos objetos envolvidos em transações (exemplo: cliente, produto) assim como dados sobre as transações em si mesmas (exemplo: vendas). Esses dados são posteriormente reorganizados para retratar os fatos de negócio sobre os quais serão geradas análises que suportam o processo decisório.

Assim, os dados que são gerados e utilizados na organização podem ser categorizados em diferentes tipos dentro da Arquitetura de Dados, conforme sua aplicação em propósitos específicos e conforme as diferentes abordagens de como gerenciá-los. Os principais são:

a) Dados Transacionais: dados que usualmente são criados, armazenados e mantidos como resultado de transações de negócio – referem-se aos eventos de negócio como vendas, serviços, ordens, compras, manufaturas, contabilidade. São dados granulares, gerados em frações de segundos, armazenados em bases normalizadas em sistemas OLTP, com foco na integridade de criação e alteração dos dados;

b) Dados Analíticos: são dados agregados e históricos, que definem valores, métricas e medidas que fornecem insights e inteligência ao negócio no suporte aos processos decisórios. Normalmente são agregados a partir dos dados transacionais, são armazenados em sistemas OLAP, dimensionais e otimizados para análises de suporte à decisão;

c) Dados Mestres: são aqueles que descrevem os objetos de dados centrais, fundamentais e estruturantes para o negócio, compartilhados por diferentes processos, e que são utilizados pelas operações de negócio. São as entidades sobre as quais as operações são realizadas - e que fornecem suporte às análises de negócio, como pessoas, localização, produtos. São dados relativamente estáveis, que têm seus conceitos consensuados, formatos consistentes e não redundantes;

d) Dados de Referência: descrevem os valores possíveis para classificações de objetos de dados do modelo, e suas descrições semânticas associadas. Alguns os consideram também como Dados Mestres, mas são dados codificados e padronizados, que sofrem algumas atualizações de conteúdo ao longo do tempo, e que merecem um gerenciamento próprio, como por exemplo a tabela de CEP;

A Gestão de Dados Mestre (Master Data Management ou MDM) é a combinação de processos e tecnologias aplicados para o gerenciamento dos dados, através de atividades como identificação das fontes, unificação e integração, validação, enriquecimento, publicação, consumo, e manutenção de dados.

Cria-se uma visão única dos dados corporativos, eliminando silos, buscando garantir a sua qualidade, como consistência e acurácia, e facilitar o uso dessas entidades de forma consistente e compartilhada ao longo de diferentes sistemas e linhas de negócio.

Dados Mestres

Dados Mestres correspondem aos objetos de dados que são nucleares e dão estrutura ao negócio, diferentemente dos dados transacionais, que são criados no curso de uma transação de negócio (ordem, por exemplo, é uma transação e é dependente de cliente, que por sua vez é um dado mestre).

São dados cuja semântica é pactuada e bem compreendida por diferentes áreas de negócio, descrevendo objetos que são fundamento para uma variedade de transações de negócio da organização.

São criados e alterados por um processo de cadastramento, fluem por outros processos ao longo do seu ciclo de vida até que são arquivados ou desativados, quando não são mais necessários às transações de negócio - em geral, esses dados apresentam longos ciclos de vida na organização.

Dados Mestres são agrupados por domínios mais abstratos no modelo de informações empresarial (áreas de interesse) e decompostos em atributos, no nível mais detalhado. A definição dos domínios depende do setor da indústria em que essas organizações estão operando. Embora algumas áreas de interesse sejam comuns à maioria das organizações (cliente, empregado, localização, finanças), outras são definidas conforme a especialização da empresa, formando um modelo estratégico de áreas de interesse.

O que frequentemente ocorre é que esses Dados Mestres inicialmente estão espalhados por diferentes sistemas, em silos de dados redundantes, com formatos e definições inconsistentes.

O maior problema, então, é gerenciar a identidade desses objetos pois, como uma mesma entidade pode ser utilizada em diferentes sistemas, podem ser identificadas diferentemente em cada contexto. Assim, o desafio do MDM é definir o dado mais acurado entre as diferentes versões e propor uma visão consistente e integrada como fundamento técnico e negocial para os dados.

O modelo de Dados Mestres é um instrumento de negócio quando se destacam os papéis de data owners, governança de dados, parâmetros de qualidade etc., definindo quais são os Dados Mestres e como devem ser gerenciados.

É um instrumento de TI quando se refere à construção de plataformas técnicas de integrações, fazendo que funcionem perfeitamente entre os sistemas. É no modelo de Dados Mestres que os conceitos de negócio podem ser traduzidos em conceitos que a TI pode efetivamente utilizar para compreender os requisitos de negócio.

Dados de Referência

Outro tipo de dado empresarial são os Dados de Referência - às vezes considerados um subconjunto dos Dados Mestre, às vezes tratados como outro tipo separado de dado empresarial.

São dados padronizados, estruturalmente simples, com relativamente poucos registros e pouco voláteis. Possuem conteúdo semântico (seu conteúdo tem significado) e são utilizados por toda organização para categorização dos ativos de informação, descrevendo e transformando os dados em informações de negócio e mantendo a padronização comum desses conceitos, provendo taxonomias e hierarquias.

Os Dados de Referência podem ser externos, quando são definidos e gerenciados por uma organização padronizadora e referenciados internamente (exemplo, lista de países- ISO 3166–1) (Time Zone - ISO 8601) (moedas - ISO), ou podem ser internos quando são produzidos no escopo do negócio e definem e estruturam outros dados transformando-os em informações de negócio (exemplo: códigos de tipos, que controlam subtipos de entidades; códigos de situações, que controlam ciclo de vida das entidades; ou códigos de papéis, que controlam relacionamentos das entidades).

Em geral são compostos por um código, nome ou descrição e eventualmente poucos outros atributos. O maior problema na gestão dos Dados de Referência é a adequada conceituação de cada código - as definições associadas a esses conceitos, que devem ser consensuados para todos os usuários. Essas definições vão determinar a interpretação das informações que irão gerar, e indicar quais regras de negócio devem ser aplicadas a cada caso – e muitas vezes podem controlar a lógica do processo automatizado.

Dados de Referência não participam das transações de negócio e nem representam essas transações e, por serem pouco voláteis e simples em sua estrutura, às vezes não são considerados dados críticos. Mas classificam e descrevem informações e, se forem de má qualidade, afetam diversos processos e podem levar a análises a resultados incorretos que impactam negativamente as decisões.

Os processos de gestão devem ter abordagens diferentes.

O processo de gestão dos Dados Mestres lida com a estrutura das bases de dados, quais os objetos de dados que compõem esses Dados Mestres e como eles se relacionam. As instâncias dessas estruturas são geradas pelos processos de negócio que cadastram essas informações (ex: cadastramento de um cliente ou cadastramento de um novo produto).

O processo de gestão dos Dados de Referência lida com o conteúdo dos dados, não com a estrutura dos dados, e gerencia o conteúdo semântico dos códigos contidos nas tabelas de referência. As instâncias nesse caso não são geradas por processos de negócio, mas sim definidas pelos próprios gestores dos dados.

As diferentes naturezas e diferentes desafios de governança entre os tipos de dados empresariais vêm sendo melhor compreendidos recentemente e são vitais para o gerenciamento de recursos de informação. Muito ainda existe para se contribuir com o processo de gestão, inclusive com o desenvolvimento de ferramentas especializadas no suporte a cada tipo de dado, levando a melhorias cada vez maiores em direção a um ambiente de dados mais maduro nos próximos anos.