O que é o Google Dataplex?

Por que você precisa disso para seu Data Lakehouse e Data Mesh

O que é o Google Data Plex e como você pode usá-lo dentro do GCP para envelhecer melhor seus Data Lakes e Lakehouses? Aqui está uma breve visão geral.

O que o Google oferece?

As empresas temem, ou melhor, deveriam temer, silos de dados. Caso contrário, seu Data Lake ou Data Lakehouse frequentemente seca rapidamente em um Data Swamp . Com o data fabric inteligente do Dataplex, o Google promete permitir que as empresas gerenciem, monitorem e controlem centralmente seus dados em Data Lakes, Data Warehouses e Data Marts com controles consistentes para permitir acesso a dados confiáveis e executar análises em escala.

Que problemas podem ocorrer sem governança?

Se um Data Lake contém muitos dados de forma mal organizada, sem gerenciamento de metadados adequado e governança de dados confiável, dados relevantes se tornam cada vez mais difíceis de encontrar . O conteúdo de informações do Data Lake diminui, mesmo que novos dados sejam constantemente adicionados. A falta de gerenciamento do ciclo de vida dos dados também leva ao assoreamento de um Data Lake. Após um certo tempo, os dados perdem sua relevância. Se os dados ainda permanecerem no depósito de dados, mais e mais dados com falta de relevância se acumulam ao longo de longos períodos de tempo. Carimbos de tempo incorretos de um conjunto de dados também levam a informações que não podem ser encontradas ou avaliadas.

Como o Dataplex ajuda?

Com o Dataplex, você pode habilitar segurança e governança centralizadas e unificar dados distribuídos sem movimentação de dados .

As empresas têm dados distribuídos em data lakes, data warehouses e data marts. O Dataplex permite que você unifique esses dados sem qualquer movimentação de dados, organize-os com base nas suas necessidades comerciais e gerencie, monitore e governe esses dados centralmente. O Dataplex permite a padronização e unificação de metadados, políticas de segurança, governança, classificação e gerenciamento do ciclo de vida de dados em todos esses dados distribuídos. — Google [1]

Então, com o Dataplex, você pode criar lagos onde pode controlar a localização, o acesso e outras questões em torno da governança. Dentro, você pode executar análises semelhantes ao BigQuery e atribuí-las a um lago. Interessante se você quiser controlar, por exemplo, departamentos individuais ou até mesmo países dentro de uma empresa. Aqui, é importante que, por exemplo, um departamento não possa olhar os dados do outro, mas possa facilmente compartilhar esses dados internamente.

Resumo

Com o Dataplex, o Google oferece uma maneira maravilhosa de controlar Data Warehouses e Data Lakes e não deixá-los se tornarem Data Swamps (clique aqui para mais informações). A interface é semelhante ao BigQuery, exceto que você também pode acessar outras fontes de dados. O Google oferece uma ferramenta para transformar Data Lakeshouses em Data Meshes.