Melhores Práticas de Armazenamento de Dados com QVD no Qlik Sense

Você começou a trabalhar com Qlik Sense seja on-premise ou na Qlik Cloud e ainda não trabalha com QVDs nos seus projetos, então é melhor ler até o final !

O armazenamento de dados em QVDs (Qlik View Data) é uma prática fundamental no Qlik Sense para otimizar o desempenho e a escalabilidade das suas aplicações.

Ao seguir algumas melhores práticas, você pode garantir que seus QVDs sejam eficientes e estejam preparados para lidar com grandes volumes de dados.

1. Estruturação dos QVDs:

Granularidade: Defina a granularidade dos seus QVDs de acordo com as necessidades das suas análises. QVDs muito grandes podem impactar negativamente o desempenho, enquanto QVDs muito pequenos podem gerar muitos arquivos e tornar a gestão mais complexa.

Chaves: Utilize chaves únicas e eficientes para relacionar os QVDs entre si. As chaves devem ser concisas e garantir a integridade dos dados.

Campos: Inclua apenas os campos necessários para cada QVD, evitando a duplicação de informações.

2. Criação de QVDs:

Otimização de consultas: Utilize as funções de agregação e filtros da linguagem de script do Qlik Sense para criar QVDs com os dados já agregados e filtrados, reduzindo o tamanho dos arquivos e o tempo de carregamento.

Compressão: QVDs por sua natureza já são criados com uma técnica proprietária que elimina redundância de dados nas colunas armazenando somente ponteiros binários, mas você pode maximizar isso : manipulando dados numéricos removendo casas decimais desnecessárias, separando campos que contém data e hora em colunas separadas, criando ponteiros numéricos para campos chave originalmente concatenados como texto.

Particionamento: Para grandes volumes de dados, considere o particionamento dos QVDs por data ou por outra dimensão relevante, facilitando a gestão e o carregamento incremental.

3. Carga de Dados:

Carregamento incremental: Carregue apenas os novos ou alterados registros nos QVDs, evitando a recriação completa dos arquivos a cada atualização.

Paralelização: Utilize a paralelização para acelerar o carregamento de grandes volumes de dados, especialmente em ambientes com múltiplos núcleos de processamento.

Leitura otimizada: como é um formato nativo, a leitura de milhões de registros pode ocorrer em somente alguns segundos.

4. Gestão dos QVDs:

Organização: Mantenha uma estrutura organizada para os seus QVDs, facilitando a localização e a gestão dos arquivos.

Versionamento: Mantenha versões antigas dos QVDs para fins de auditoria e recuperação de dados.

Limpeza: Realize a limpeza regular dos QVDs, removendo arquivos duplicados e sem uso.

5. Considerações Adicionais:

Tipo de dados: Utilize os tipos de dados adequados para cada campo, otimizando o armazenamento e o desempenho.

Formato de data: Utilize um formato de data consistente em todos os QVDs para facilitar a comparação e a agregação de dados.

Memória: Monitore o uso de memória durante o carregamento e a consulta dos QVDs, ajustando a configuração do Qlik Sense se necessário.

Exemplos de Boas Práticas:

QVD de Dimensões: Crie QVDs separados para cada dimensão (clientes, produtos, datas), com chaves únicas e campos relevantes para as análises.

QVD de Fatos: Crie QVDs de fatos com medidas agregadas (vendas, custos), relacionando-os com os QVDs de dimensões através das chaves.

QVDs Históricos: Mantenha QVDs históricos para analisar tendências e realizar comparações ao longo do tempo.

Conclusão:

Ao seguir estas melhores práticas, você pode otimizar o desempenho e a escalabilidade das suas aplicações Qlik Sense, garantindo que seus dados estejam sempre disponíveis e acessíveis para as suas análises.

Atualmente existe a possibilidade de substituir o uso de QVDs por arquivos Parquet para interoperabilidade com um Data Lake e redução de consumo de espaço.

Referências:

Documentação para entender como criar e ler Arquivos QVD

Documentação para Ler e criar arquivos Parquet

Pablo Labbe

Arquiteto de Soluções

iMaps Analytics.