Resumo Google Cloud Next '23
DataLakers Tecnologia
Organizamos dados, entregamos soluções, impactamos pessoas.
Nos dias 29 a 31 de agosto, aconteceu o Next '23 em São Francisco, evento da Google sobre as últimas inovações tecnológicas e o futuro do mundo de dados. Nós da DataLakers estivemos no evento, e você pode acompanhar a cobertura que fizemos ao longo dos três dias nas nossas redes sociais.
Devido a imensa quantidade de novidades que foram abordadas no Next '23, decidimos trazer nessa NewsLaker um resumo do que achamos de mais relevante e que vemos impacto nos próximos anos do mercado de dados.
AI como principal tema
Generative AI foi a grande tônica do evento, com diversos lançamentos de produtos relacionados às novas tecnologias de Inteligência Artificial da Google. Em especial, o Duet AI, que está agora em versão prévia com novos recursos e disponibilidade geral chegando ainda este ano. Trata-se de uma nova solução que irá atuar em uma série de produtos Google, sendo capaz, por exemplo, de interpretar dados e gerar comandos em linguagem SQL automaticamente. Na área de Workspace, vimos o Duet AI gerando apresentações de slides inteiras com apenas simples pedidos e poucas palavras.
Big Query com novidades
Outro ponto a ser destacado é sobre as novidades do Big Query. Durante o evento, apresentou-se diversas novas funcionalidades que possibilitam o trabalho com dados de formato mais aberto, com vários recursos de interação com AI com relação à integração com Vertex AI. Por isso o BigQuery Studio, em versão prévia, é uma interface única para engenharia de dados, análise e análise preditiva para simplificar fluxos de trabalho de dados de ponta a ponta.
Também foi de destaque o desenvolvimento cada vez maior da parte de Lakehouse. Foi anunciado o suporte aprimorado para formatos de código aberto como Hudi e Delta Lake no BigLake, com aceleração de desempenho para Apache Iceberg. O BigLake agora pode ser seu único lago, com visualizações materializadas entre nuvens e junções entre nuvens no BigQuery Omni. Isso reforça cada vez mais o posicionamento de trabalhar com plataformas de formato aberto, buscando um roadmap de melhora e aumento do gerenciamento de toda plataforma em Big Lake, com informações estruturadas e não estruturadas trazidas através das object tables.
Recomendados pelo LinkedIn
Inovações na visualização de dados
A evolução que vem acontecendo na parte de visualização de dados da Google também se mostra muito relevante, principalmente com a ampliação do ecossistema de business intelligence Looker, impulsionado pela IA. Com a chegada do Duet AI no Looker, podemos ver no roadmap do produto a geração automática tanto de relatórios como apresentações, facilitando a utilização dos usuários. Além disso, acamada semântica do Looker agora está aberta para o Tableau na visualização e para o Microsoft Power BI em disponibilidade geral.
Governança de dados também foi presente.
A questão de governança foi muito bem exemplificada com cases, como do Carregour e Snapchat, onde foi destacado a crescente capacidade de descoberta de dados, permitindo a automatização da parte do catálogo integrado aos metadados que estariam no Vertex AI, a evolução do Data Profilling e novidades em relação ao Lineage, com a integração do Spark no Google Distributed Cloud, que estende o poder dos processamentos rápidos de consultas analíticas para o local para dar suporte aos requisitos de residência de dados.
Ainda sobre governança, vale citar os novos recursos no Dataplex para linhagem de dados, qualidade e gerenciamento de metadados, que ajudam os usuários a entender quais dados analisar e a treinar modelos de ML em fontes de dados confiáveis para ajudar a melhorar a precisão.
Cases brasileiros fecharam o evento.
No último dia de evento, tivemos a oportunidade de ver dois grandes cases que demonstram o potencial da plataforma Cloud aplicado à realidade brasileira. Primeiramente a Globo, que migrou petabytes de dados do Globoplay para a plataforma Cloud, um projeto gigante que demonstra capacidade de armazenamento e processamento que a Google oferece. O segundo case foi do Boticário, que utiliza o framework Google Cortex para fazer toda a integração com sua plataforma de SAP, agilizando os processos (de nove dias para duas horas) e facilitando toda a integração.
Foram três dias intensos de muito conhecimento e novidades que serão impactantes para o mercado de dados ao longo dos próximos meses. A AI mostra cada vez mais que veio para dinamizar os processos e integrar toda a geração de dados em todas as esferas.