Uma reflexão sobre qualidade e privacidade de dados e a importância para adoção de IA Generativa nas empresas.

Nós estamos experimentando com entusiasmo, e não é pra menos, dos benefícios trazidos pelo chatgpt, perplexity, Gemini, Copilot MS e outras ofertas de inteligência artificial generativa que nos ajuda desenvolver uma apresentação, um texto de marketing, interpretar e compilar artigos, traduções, geração de imagens, enfim, ótimas ferramentas de produtividade individuais.

Uma delícia esse cardápio de tecnologias, que nos apoia diariamente em questões práticas do dia a dia, trazendo conhecimento e velocidade em várias tarefas.

A tecnologia principal para uso da IA generativa são os modelos básicos conhecidos como LLM (large language models) ou modelos grandes de linguagem que são construídos e refinados por grandes empresas e disponibilizados para uso da comunidade de usuários e empresarial, modelos LLM sem custo, open, as grandes empresas no entanto lhe cobram pelo consumo de tokens, ou seja pelo processamento em si. A grande briga do mercado de GPUS, LPUS, CPUS... Mas isso é outro assunto para outro momento.

As empresas pensam e buscam implementar com apoio dos LLM´s, casos de uso aplicados para os negócios, que é uma situação um pouco diferente do uso individual como citei acima, pois não estamos falando de uso de dados e conhecimentos públicos que foram capturados pela internet, mas, sim, de dados e conhecimentos corporativos, sejam de arquivos, bases de dados, processos de negócios e o conhecimento na cabeça dos experts das empresa.

Os modelos LLM são de grande valia pelo seu conhecimento adquirido represnetados em bilhoes de tokens encadeados, poder de interpretação e processamento de linguagem natural, multi-idiomas, estruturadas de documentos e a possibilidade de injeção de novas informações seja através de refinamento de modelos ou outras mecânicas de adicionar dados em contexto corporativo. Mas sabemos que esses modelos pré-treinados pouco sabem das coisas de nossas empresas e nem devem saber por se tratar de nossos dados, dados de nossos clientes, nossa propriedade intelectual que queremos preservar, porém também queremos tomar vantagem competitiva das facilidades de analises e geração de insights.

Devemos nos preocupar com os produtos de dados que podem dar suporte ao uso de IA Generativa nas empresas e nossa habilidade de sumarizar dados estruturados e não estruturados em contexto dos casos de uso e o cuidado cíclico com a qualidade e a preparação dos dados em formatos adequados para uso profissional com soluções de IA generativa ou tradicionais. Esse é um dos aspectos mais relevantes para o sucesso destas iniciativas. Interessante é que talvez não estejamos falando aqui de nada novo ou que isso possa surpreender alguém nesse contexto.

Integração, padronização, enriquecimento, correlacionamento, unificação, modelagem, vem sendo em muitas grandes iniciativas de negócios e TI, negligenciados ou tratados de forma parcial e a frustração com projetos de CRM, BI ou BA é comum. Com IA Generativa não é diferente. Mudam-se alguns jargões, algumas técnicas de coleta, organização, preparação e tratamento dos dados, vetorização em alguns casos, mas a estrutura é similar.

Muita coisa pode sair errado entre a interpretação do que é solicitado em uma estrutura de IA Generativa, como a resposta é gerada e comunicada ao usuário e o fator principal poderá ser a falta de tratamento da qualidade dos dados e preparação adequadas dos produtos de dados que suportam as aplicações. Garbage in é Garbage out é aquela máxima válida.

IA Generativa pede dados em um nível de velocidade, escala e complexidade muito relevante. As equipes de dados e operações que gerenciam casos de uso tradicionais de negócios e que se concentram na curadoria e limpeza de conjuntos de dados definidos não poderão descansar, ou seja, programas severos de MDM ou data profiling, padronização e curadoria são obrigatórios. Ou programos robustos de governança de dados.

Além de tudo isso, segurança, privacidade e consentimento exigem novos processos que não existem atualmente nas empresas e por isso muitas organizações proíbem o uso de IA generativa como chatgpt.

Gerenciar a segurança e a privacidade dos dados em casos de uso tradicionais de negócios depende do controle dos dados de origem. Os Dados que violam os padrões de conformidade devem ser são eliminados ou anonimizados, e a segurança depende do controle de acesso a conjuntos de dados específicos por usuários aprovados.

Os modelos de GenAI não dependem de consultas ativas aos dados de origem para atender às solicitações. Uma vez que os dados de treinamento foram ingeridos anteriormente, as equipes de dados não podem mais controlar facilmente quais usuários têm permissão para acessar quais elementos de dados. A segurança e a conformidade dependem de saber o nível apropriado de acesso de cada usuário final. Sem um padrão atual que vincule os modelos de GenAI aos seus dados de origem, isso cria novos níveis de incerteza e risco e quando se fala de injeção de dados corporativos para insights de negócios, uma pimenta adicional é trazida a tona para essa salada de tecnologias.

Como resolver? Podemos lhe ajudar! Pergunte-me como!