Publicação de João Paulo Simonetti

Data Mesh - Minhas primeiras percepções De uns anos para cá, o assunto Data Mesh vem ganhando força dentro do mundo de dados com a promessa de ajudar as empresas a solucionar um dos maiores gargalos atuais: entrega de dados com velocidade e escala. Para compreender a proposta dessa nova área de conhecimento, comprei o livro sobre Data Mesh para aprofundar no assunto. Apesar de já ter lido alguns artigos e visto alguns vídeos com uma explicação básica, achei muito raso e preferi ir direto na fonte. Foi a melhor opção. Logo de início pude perceber que não estamos falando de um framework de tecnologia, modelo de gestão, corpo de conhecimento nem nada disso, mas uma forma de cultura organizacional. A proposta do Data Mesh é que a organização tenha times descentralizados, mas conectados - chamados de domínio - que tenham acesso aos seus dados e de outros domínios para criar produtos de dados. A ideia de domínios federados e responsáveis pelos seus dados e produtos gerados é a grande ideia por trás, para que as equipes consigam entender, analisar e inovar com maior agilidade. O conceito de Data Mesh, na minha percepção, é um apunhado do que há de melhor na Engenharia de Software, Produtos e Agile. Os domínios são baseados na concepção de microserviços, os produtos de dados no corpo de conhecimento de produtos, incorporando o PO, responsáveis, ciclos de vida e afins. Já o Agile, é na entrega curta e rápida de análises e dados agregados para que outras equipes possam tirar proveito e quem sabe, surgir novos domínios ou produtos, garantindo vantagem competitiva. Data Mesh me parece uma nova forma de fazer as coisas e até melhor. Gostei de saber como funciona e o que esse modelo oferece e tenta solucionar. Até o momento, essa é uma leitura que recomendo para quem quer trabalhar com dados. Ótima Quinta! Obrigado!

Ontem (15/10) tive o privilégio de participar de um encontro inspirador da comunidade de Data Managers na Strides Tech Community. O ponto alto? Uma conversa esclarecedora com nosso mentor Tiago Naviskas Lippi sobre "Planejamento Estratégico de Dados". Alguns pontos capturados do encontro: • A estratégia ajudar a focar e deixar claro para o que dizer "não"; • É comum a revisão da estratégia refletir na reorganização dos times; • Desdobre a estratégia em blocos: Casos de Uso/Produtos, Governança e Maturidade; • Em relação à Governança a estratégia pode ser defensiva (+ precisão, - velocidade) ou ofensiva (+ velocidade, - precisão); • Evite iniciativas com longo prazo de maturação; • Evite usar o "projeto" como objetivo (Sabe aquele OKR "entregar o dashboard de ..."? Esquece!); • No Modelo de Maturidade da IBM, uma das diferenças entre o nível 2 e o nível 3 está na postura "proativa" do time de dedos; • Toda demanda que chega é uma oportunidade do time de dados propor um caminho melhor.

Super recomendo! Curso ministrado por um dos líderes no quesito conhecimento e experiência quando o assunto é Dados! ✨

🚀 Lançamento do Curso de Data Mesh! 📊 Estamos empolgados em anunciar o lançamento do nosso novo curso sobre Data Mesh! 🌐✨ Ministrado pelo mestre e entusiasta de Dados Luís Rúdi Afonso Silva 🎓 O que você vai aprender? - Por que Data Mesh? - Orientação por domínio - Dados como produto - Plataforma de Dados - Governança Federada - Implantando o framework - Principais Benefícios 🔗 Por que você não pode perder? Este curso é ideal para profissionais de dados, engenheiros, líderes de tecnologia e qualquer pessoa interessada em transformar a forma como sua organização gerencia e utiliza dados. Com conteúdo atualizado e abordagens práticas, você sairá pronto para liderar e inovar na sua jornada de dados! 🔹 Acesse agora: https://lnkd.in/dPbtNHad 📍Formato: Online Disponível: Plataforma por tempo indeterminado Duração: 3h33 minutos E dê o próximo passo na evolução da sua estratégia de dados! Vamos juntos transformar o futuro da gestão de dados! 💡🚀 #DataMesh #DataManagement #Curso #TransformaçãoDigital #Innovation #Governacadedados

Você conhece o DBT e o Snowflake? Para a matéria de Data Management and Governance, ministrada pelo professor André Ricardo, tivemos a oportunidade de trabalhar e conhecer essas duas ferramentas! O DBT é uma ferramenta de transformação de dados que facilita a criação de pipelines de dados organizados, gerando uma documentação interativa e oferecendo validações automatizadas de qualidade. Com ele, conseguimos definir uma estrutura modular e transparente, facilitando a governança e o controle das transformações realizadas. Já o Snowflake, uma plataforma de dados em nuvem altamente escalável e eficiente, foi essencial para armazenar, processar e disponibilizar os dados de forma rápida e segura. Juntas, essas ferramentas foram fundamentais para desenvolvermos uma estrutura organizada em camadas — Bronze, Silver e Gold — permitindo tanto a qualidade dos dados quanto a rastreabilidade de cada etapa. Neste projeto, focamos em uma base de dados da Netflix, aplicando conceitos de governança, qualidade e linhagem de dados para garantir que todas as transformações estivessem alinhadas com as melhores práticas. 🔗 Confira o projeto completo no GitHub: [https://lnkd.in/dJwpjPgF] #DataGovernance #DBT #Snowflake #DataManagement #DataQuality #DataEngineering

Tivemos uma aula fantástica de Big Data Architecture com o professor Eduardo Miranda, da Impacta Tecnologia, ministrada no MBA em Data Science & Advanced Analytics ! 🚀 Hoje, mergulhamos nos conceitos de banco de dados relacionais e não-relacionais, além de explorar a fascinante evolução da engenharia de dados. Aprendizado intenso e valioso para entender como os dados estão moldando nosso mundo. Obrigado, professor Eduardo, por compartilhar seu conhecimento conosco! #BigData #BancoDeDados #EngenhariaDeDados #Aprendizado #Gratidão 📊🔍 Anna Peixe de Barros Giovanni Petruitis Hugo Henrique Corvo dos Santos Diogo Packer Elias Douglas C. Murilo Santone

Qual a melhor stack pra construir um pipeline de dados que existe hoje? - “A que eu sei”. - “A que mandaram eu usar”. Essas são respostas comuns, especialmente para quem está no início da carreira. Você aprende uma stack e quer usar para resolver todos os problemas. Quem nunca? Mas a verdade é que, como quase sempre, depende: - Do orçamento do cliente para construir o pipeline ou a plataforma de dados. - Do prazo do projeto. - Da quantidade de dados que será processado. - Da frequência que serão ingeridos. - Do provedor de Cloud que a empresa usa. Mas vocês já se perguntaram o porquê que o Modern Data Stack vem ganhando tanto espaço no mercado? É comum ver quem está começando ficar ansioso para aprender e testar essas novas ferramentas. E, por outro lado, profissionais mais experientes podem pensar: "Ah, mais um conjunto de ferramentas prometendo substituir tudo, mas é mais do mesmo." E o que acontece é que o Modern Data Stack não veio com o objetivo de descartarmos toda nossa stack atual e implementar essa nova stack. Ele veio para habilitar times menores e mais próximos do negócio permitindo entregar valor de forma mais ágil. Diminuindo a necessidade de ter muita coisa para gerenciar em nível tecnológico, como infraestrutura, e fazer a entrega de valor mais rápido em para o negócio. Curtiu esse insight? Se você é de Recife e quer aprender mais sobre o Modern Data Stack e conteúdos como esse, no dia 30 de novembro acontecerá o Modern Data Stack Experience Recife. Link do evento com preço promocional de pre-venda: https://lnkd.in/dSKGBdNA #dataengineering

Satisfação em compartilhar mais um certificado da area de Dados da Data Science Academy, um excelente curso e conteúdo que recomendo a todos sua realização. Realmente explica os fundamentos de um projeto e o dia-a-dia no trabalho com engenharia de dados. #EngenhariadeDados #Dados #DataEngineer #Data #Developer #Dev #Cloud #Engenheirodedados

[Momento Portfólios Incríveis] O objetivo do projeto da vez é abranger toda a jornada dos dados, desde a aquisição, ingestão, processamento e geração de valor com insights por ML e BI. Este é o projeto de Fernando Santello! O projeto está contemplando a parte de aquisição de dados, seja na nuvem ou on-premise, e toda a parte de armazenamento, processamento e geração de insights na nuvem, utilizando a AWS. O projeto está bem estruturado, organizado e utilizando boas práticas de engenharia de software. Além disso, tem flexibilidade, garantindo que a infraestrutura possa acomodar diversos bancos de dados e fluxos de trabalho, necessitando apenas implementar a nova lógica. O projeto possui as seguintes tecnologias: ✔ Airflow ✔ Docker ✔ AWS RDS ✔ Python ✔ Spark ✔ Power BI Parabéns pelo projeto, Fernando Santello, ficou bem completo! Ah, e o link do projeto completo está nos comentários. E o Fernando ainda está evoluindo o mesmo, fique ligado! #MomentoPortfoliosIncriveis #Portfolio #DataPipelines #Networking #Data

Você já ouviu falar em busca de dados "multidimensional"? No The Developer's Conference Floripa você terá a oportunidade de aprender um pouco mais sobre essa arquitetura de busca! Terei o prazer em fazer uma talk falando como Vector Databases utilizam a abordagem de busca e armazenamento Muitidimensional e assim ter um modelo de busca por similaridade e entregarem melhores resultados para Aplicações de Inteligência Artificial! Muito obrigado à coordenação e ao comitê técnico por aprovarem esse conteúdo de alta relevância para a comunidade! Garanta agora mesmo seu ingresso para essa e outras incríveis trilhas! https://lnkd.in/dCUKHecD #tdc #AI #inteligenciaArtificial