Governança de Dados para Big Data. Por onde começar?

No âmbito atual aos tempos Big Data, o mercado oferece diversas tecnologias, ambientes e variados componentes para consumir e explorar mais e mais fontes de dados da organização, buscando valor e velocidade na tomada de decisão.

Essa proposta de evolução analítica, agrega alta capacidade para transformações digitais, evolução cultural e otimiza o que há de melhor nos parques de tecnologias utilizadas pela organização.

Analytics Big Data, estende as capacidades existentes e incorpora novas possibilidades em função do maior volume e variedade de informações.

O próprio fluxo de recepção da informação, altera a linha do tempo em relação aos dados, pois a velocidade e necessidade de disponibilização passa a ser "real time", "near time", "streaming" e o que mais for necessário.

Essa nova onda de informações, agora disponíveis, trazem em conjunto, novos atributos, não existentes anteriormente, possibilitando, exploração de modelos estatísticos, preditivos, fontes IoT, implementações machine learning, chatbots, entre outras.

Resumindo, as possibilidades analíticas só podem ser limitadas por falta de coragem, ação e inovação.

Tudo isso tem um "alicerce" a ser estruturado, chamado, Governança de Dados. Esse conceito, traciona a estratégia da empresa, provendo alta maturidade aos processos e aos seus ativos, firmando que, a Governança de Dados apoia a transformação dos dados em sabedoria corporativa.

Governança de Dados apoia a transformação dos dados em sabedoria corporativa.

Sendo assim, ela é fundamental, porém, deve caminhar fortemente integrada com as novas tecnologias, alinhado ao compliance das organizações e dentro de um ambiente cultural favorável à inovação.

Uma estratégia desta magnitude, será responsável por:

1. Orquestração das pessoas;
2. Ações necessárias para que os dados estejam aptos às necessidades estratégicas;
3. Definição de padrões e políticas;
4. Acessos e permissões;
5. Controle de segurança;

Tudo isso, permeando por todo o pipeline das tecnologias, no qual os dados navegarão.

Podemos dizer então, que, a estratégia de gonvernança embarcado ao conceito Big Data, premissa de:

• Definir e implementar uma estratégia DATALAKE, direcionando as informações da organização;
• Segregar os dados em camadas no DATALAKE;
• Detalhar fontes e modelos de dados existentes;
• Detalhar e definir modelos de dados não estruturados;
• Detalhar processos de ingestões, transformações e disponibilização;
• Adicionar e automatizar cargas e processos manuais, dentro da esteira de integração dos dados;
• Mapear ativos e envolvidos;
• Evoluir e expandir a arquitetura para adição e integração de tecnologias e ambientes;
• Modelar papéis e responsabilidades;
• Definir e implementar padrões e políticas;
• Modelar e disponibilizar grupos e usuários;
• Definir e implementar acessos e permissões para grupos e usuários;
• Implantar ferramentas, scripts, tecnologias para administração, linhagem, glossário e catálogos de metadados;
• Mapear e mensurar ciclo de vida dos dados;

Pós essa fase intensa de planejamento, mapeamento e ação, a organização entra em outro nível. Onde, poderá definir estratégias, pautar métricas, gerenciar ativos, medir necessidade de investimentos tecnológicos e implementar suas fundações analíticas. Integrando Negócio e TI, consumindo self services de dados e sabendo que o próximo nível é a evolução da maturidade da governança e a sua própria evolução cultural.

É isso pessoal, compartilho esse artigo com a melhor das inteções, pretendo evoluir o assunto e detalhar os pilares de uma implementação.

Agradeço imensamente ao apoio e ficarei super feliz por feedbacks, sugestões e parcerias.

Até a próxima!!!!