Antigas histórias de governança de dados... Não leiam!

Governança de dados, gestão de metadados, gestão da qualidade dos dados e outras coisas “adiáveis” a não se fazer...

Governança, qualidade de dados e gestão de metadados são temas amplamente discutidos e conhecidos principalmente em organizações de médio/grande porte onde a diversidade de plataformas e sistemas computacionais desafiam a comunidade de negócios e os times de tecnologia.

Invariavelmente nos deparamos com iniciativas que demandam novas bases de dados, novas rotinas de integração, portais, aplicativos e analises de dados que meio a um grande volume e diversidade de sistemas fontes de dados poderiam ser desenvolvidos rapidamente, com alta taxa de aproveitamento de código e rotinas de integração de informações, mas não é isso que efetivamente acontece.

 Os sistemas são pouco ou não documentados em vários sentidos, a começar pela não existência de um modelo de dados que poderia nortear o asset informacional da corporações. Documentação da cadeia de execução e precedência dos processos batch ou serviços, documentação do estado (qualidade) das informações em suas fontes de dados e em bases de dados estratégicas como data lakes ou data warehouses também são pontos relevantes e dificilmente constatados. Nos novos tempos onde códigos python, R, Java se multiplicam junto a novas bases de dados temporárias e datasets intermediários que alimentam aplicações de negócio esta constatação se torna ainda mais facilmente realizada.

Ao iniciarmos novos projetos nos deparamos com os mesmos “ofensores” velhos amigos : Necessidade de assessment para entendimento e documentação das fontes de dados(arquivos, tabelas, atributos, glossário de termos consolidados de negócio, filesystems, perfil dos dados, regras de negócios). Coisas básicas que deveriam estar disponíveis caso uma parte do processo de governança de dados, ou um subset de gestão de metadados ou gestão da qualidade dos dados fossem existentes e considerados relevantes.

Ao observar na linha do tempo que os projetos ou programas de governança de dados são elementos essenciais e raros na vida de muitas organizações e que de modo cíclico sua inexistência gera atrasos e consequências financeiras sérias quando surgem novas iniciativas de negócio que precisam ser implantadas rapidamente e acabam frustradas total ou parcialmente pela falta de infraestrutura informacional. A antiga falta de informações sobre as informação ou metadados.

Os projetos e governança de dados ou seus subconjuntos(metadata, data quality management) são então super relevantes porém os primeiros a serem adiados ou nem iniciados nas corporações, talvez por falta de visão de longo prazo dos executivos de TI e negócios? Quem paga esta alta conta ? Despesas recorrentes, atrasos de implantação de novas plataformas de negócios, insegurança quanto a validade, unicidade e completude das informações... Quem paga esta conta?

Assistimos muitas organizações planejando ou orçando projetos completos de governança de dados e uma enorme dificuldade de definição de escopo. Deixo a velha mensagem e reflexão que usamos desde os anos 90 em que as corporações começaram a desejar grandes data warehouses... Pensar grande, começar pequeno!