Linhagem de dados - Não consigo viver sem!

Com a linha de dados você registra todo o ciclo de vida dos dados, desde sua origem até a entrega ao destino.

A partir do momento que você começa a fazer uso dela, você consegue monitorar todo o fluxo que os dados percorrem e daí você começa a observar tudo com mais clareza, é como se você entrasse em um quarto bem iluminado e todos os móveis e objetos estivessem bem visíveis.

Com ela você identifica com mais facilidade os pontos que podem ser melhorados, erros que ocorreram em alguma etapa e de onde veio determinada informação, por exemplo, e isso com uma precisão muito grande.

Aqui na auditoria contínua estamos migrando nossos pipelines de dados legado para nossa nova infraestrutura e estamos tendo que refazer todos esses pipelines de dados, e diante dos problemas que tivemos com o legado, vi que era imprescindível fazer uso da linhagem de dados.

Quem trabalha com dados sabe que por mais que nos precavemos, problemas podem ocorrer, mas para minimizar os impactos, é muito importante realizar diversos tratamentos e um deles é o tratamento de exceções.

Um problema que uma hora ou outra ocorre aqui na auditoria contínua é de o pipeline de dados não completar seu ciclo até o fim, quando isso ocorre é preciso verificar para identificar o que aconteceu:

No pipeline de dados legado, sem linhagem de dados

Quando isso tipo de problema ocorre, é como se você entrasse em um quarto escuro, que pelo fato de não conseguir enxergar nada, você tem que ir apalpando tudo que se tem contato pela frente até conseguir identificar que peça, objeto ou móvel está quebrado.

Nos novos pipelines de dados, com linhagem de dados:

Quando isso tipo de problema ocorre, a luz do quarto já está acessa, e ao entrar no quarto você já consegue visualizar e identificar se algum objeto caiu e quebrou ou se algo aconteceu com algum móvel.

É incrível a diferença entre o antes e depois com a linhagem de dados, entre o legado e os novos pipeline de dados aqui na auditoria contínua, inclusive uma parte do legado ainda continua em operação, pois ainda não migramos tudo, mas já é notório a diferença!

Ainda em cima da linhagem de dados, uma das coisas que tenho tido bastante preocupação e cuidado é em deixar a linhagem bem mais amigável para que não só um engenheiro entenda, mas o usuário final também precisa entender, o processo fica transparente de ponta a ponta e o usuário final ou stakeholders passa a ter mais confiança nos dados que está consumindo, pois está acompanhando e entendendo todos os passos que estão sendo realizados sobre os dados.

#dataengineer #datapipeline #dataanalytics #auditoriacontinua