Publicação de Danrley Montalvão

Como planejamento financeiro, simulação, BI, ciência de dados e IA trabalham juntos? A IBM e a CTI Consultores Associados ajudam nessa jornada de dados focada em casos de negócio.

Boa noite, gente! Escrevi meu primeiro artigo no Medium falando sobre o OpenMetadata e em como fazer a limpeza da linhagem que já existe na ferramenta através da API deles. Logo espero conseguir escrever mais sobre a utilização dos recursos do OM! #GovernançaDeDados #OpenMetadata #lineage

Você domina a arquitetura do Oracle Data Guard? Participe do Workshop "Dominando a Arquitetura do Oracle Data Guard" HOJE 30/03 as 18h, e descubra como você pode utilizar o Oracle Data Guard para cenários de alta disponibilidade e recuperação de desastres e como funciona a sua arquitetura. Faça o seu cadastro agora para não perder este conteúdo exclusivo. https://lnkd.in/dRFiURuP

Hoje tive a oportunidade de conduzir outra aula do Data_cast com nossa equipe de analistas da solução n2 e qualidade. Exploramos os princípios de formatação, abordando desde a organização e limpeza dos dados até o uso de condicionais para formatação de tabelas. Além disso, fizemos uma breve introdução às segmentações de dados, as quais vamos explorar com mais profundidade nos próximos encontros.

Fala pessoal! Só um detalhe pequeno pai rsrs. O que vai diferenciar um data lake de um data lakehouse não é a estrutura dos containers da storage, ou os nomes das pastas e camadas. O que vai diferenciar um do outro na prática, é a camada de governança e metadados que fica embutida em seu ambiente, rodando silenciosamente. Essa camada por sua vez da poderes de um data werehouse e faz o 'query engine' rodar seu SQL com alto desempenho lindão, sem mágica, é tecnologia kkkk TMJ...

"Podemos confiar neste dado? está com valores estranhos!", "De onde vem esse campo?", "O que significa esse campo?", “Esse dado está atualizado?”  "Por que essa métrica está diferente entre dois relatórios?" Recentemente, trabalhamos em um cliente na qual perguntas como estas eram frequentes.. O resultado era uma desconfiança das diretorias com os dados da empresa. Ao analisar o cenário, implementamos o #dbt para centralizar todas as transformações. Com isso, agora temos: - Transparência sobre como cada campo é calculado. - Lineage com todo o processo até a entrega final na camada Gold. - Testes automatizados para qualidade dos dados. - Centralização dos principais KPIs da companhia. - Documentação de todo o processo de transformação. - Versionamento de SQLs. Isso de uma forma simples de ser implementada e tudo feito com SQL. Já teve problemas como os mencionados acima? Comenta aqui. #dataengineering #dbt

Boa tarde, Rede!!! Vamos falar um pouco sobre o Data Warehouse que vem a ser um repositório que tem a função de Armazena informações para poderem serem analisada, esse repositório ele é central com a finalidade de tomar decisões mais adequadas, já os Dados fluem de Sistemas transacionais como o banco de dados Relacionais e também de outras fontes, com uma candencia bem regular. Temos também que fazer uma separação de Banco de Dados e o Data Warehouse pois o Banco de Dados tem como função o uso de Processamento Transacionale online (OLPT), já o Data Warehouse tem a função de usar um processo Analítico (OLAP), a outra diferença que podemos citar e que no primeiro caso do Banco de Dados as tabelas são mas complicadas essa junção pelo motivo de ser normalizada, já no Data Warehouse são mas facieis por ser desnormaluzasas. podemos ainda bater numa outra tecla em relação a diferença entre o Data lake e o Data Warehouse, a diferença é que o Data Warehouse trabalha com o armazanado bem estruturado e padronizado já o Dada lake não, ele permite armazenar qualquer tipo que seja os Dados, independentemente de seu formato ou estrutura.

👏🏻🎊🎉 A jornada continua! Finalizei o módulo de Modelagem, Implementação e Governança de Data Warehouses e agora tenho uma compreensão mais profunda do assunto. 👏🏻🎊🎉

Opa! Boa noite ;) Comecando mais um projeto NPL, dessa vez, um ChatBot baseado na arquitetura CBoW (Continuous Bag of Words), que conversara com o usuario sobre qualidade de certos vinhos baseado em uma descricao previa Estou comecando a ter uma visao melhor sobre Programacao Funcional e ETL pipelines, realmente um universo MUITO grande a ser explorado ;)

Hoje finalizei o curso da Engenharia de Dados Academy apresentado pelo Luan Moreno sobre Data Vault, recomendado pelo Felipe Siqueira. O tema é incrível e especialmente útil em aplicações de integração, onde os sistemas podem mudar regularmente. No meu caso, com um sistema de fornecedores que possui tabelas em ambientes distintos para clientes, fábricas e pedidos, os métodos tradicionais frequentemente resultavam em retrabalho. Por exemplo, se um vendedor inserisse nova informação no sistema de CRM que precisasse estar em relatórios, isso exigia ajustes complicados e demorados, sujeitos a erros. Com o conceito de Data Vault de Dan Linstedt, podemos criar um ambiente menos rígido. Os principais componentes são Hubs, Satellites e Links. Hubs armazenam chaves de negócio, como o CNPJ para cada fábrica, garantindo uma única versão da verdade. Satellites mantêm atributos como nome, telefone e e-mail, permitindo múltiplas fontes de dados (por exemplo, mongodb_fabric e sqlserver_fabric) sob a mesma chave de negócio mas em tabelas diferentes independentes. Links conectam diferentes Hubs, como no caso de pedidos, usando uma hash concatenando chaves de clientes e produtos/fábricas, facilitando a integração entre Hubs e a busca de informações nas Satellites. Este é apenas o começo do que o Data Vault oferece. Além do Row Vault, onde são definidos Hubs, Satellites e Links, há o Business Vault, que inclui tabelas com point-in-time, bridge e agregações. Recomendo começar com o workshop do Luan Moreno para um ponto de partida, seguido de aprofundamento. Na Programmers - Beyond IT (Brasil), já estamos discutindo e implementando o Data Vault em nossos projetos internos. #datavault #lakehouse