DESAFIOS ATUAIS DA ÁREA DE BIG DATA: Uma análise aprofundada da qualificação de profissionais de dados e o cenário para o mercado

Resumo: O volume de dados armazenados com o universo digital já é tão vasto. E cada vez mais se expande a quantidade de informação armazenada, que a qualificação de profissionais da área passou a ser um dos desafios do Big Data e da gestão da informação.

INTRODUÇÃO

Big Data é um termo utilizado para descrever grandes volumes de dados. É amplamente definido como captura, gerenciamento e análise de dados que vão além de dados estruturados típicos, como softwares ERP e CRM de empresas. O conceito de Big Data também traz a possibilidade de processar maiores quantidades de informações oriundas de variados formatos e fontes, a partir de dados não-estruturados, como os que compõe o Youtube, o Facebook, o Instagram e portais de notícias.

Cientistas de dados e especialistas definiram Big Data com três características: Volume, velocidade e variedade, chamados 3V´s. Posteriormente, foram reconhecidos mais 2 V´s: Veracidade e valor. Todas essas características para serem efetivas necessitam do uso de um sistema de Big Data que por sua vez, exige a limpeza, o processamento, a análise, a segurança e o fornecimento de acesso a conjuntos de dados dinâmicos. Contudo, os maiores desafios do Big Data podem estar relacionados a qualquer uma das necessidades do sistema para a eficiência de todos os V´s.

Com o advento da internet e das redes sociais, mudou muito a maneira como as pessoas se comunicam. A cultura digital está cada vez mais inserida na sociedade. A Cisco e a GE apontam que haverá 1 trilhão de dispositivos conectados em todo o mundo até 2020. Podendo superar essa estimativa com a tecnologia 5G, prevista para chegar ao mercado entre 2018 e 2020, e conforme o surgimento de novas aplicações. Há alguns anos esse volume enorme de dados gerados pelas pessoas e as novas tecnologias já não pode ser captado e analisado somente pela mente humana.

Com isso, o objetivo deste artigo é reunir informações que apresentem os principais desafios atuais da área de Big Data e acrescentar uma visão aprofundada sobre a falta de profissionais qualificados no mercado e como isso interfere na gestão de Big Data. Bem como, trazer sugestões de melhorias voltadas para uma visão do futuro do Big Data e suas soluções a este respeito.

Para este artigo foi feita uma revisão bibliográfica, utilizando livros digitalizados, vídeos, outros artigos e pesquisa em sites na internet. Buscando sintetizar os estudos mais confiáveis, a fim de trazer confiabilidade as informações aqui referenciadas. Uma vez que, Big Data é um termo que pode ser considerado recente e com poucos autores e materiais publicados sobre o tema.

Este artigo salienta a importância de profissionais qualificados para gestão estratégica e cientifica de Big Data. Visto que, embora a evolução das ferramentas de Big Data surge do fato de que a quantidade de informação gerada no mundo supere a capacidade humana de gerencia-las. A capacidade humana e conhecimento adequado interferem diretamente na avaliação da distorção dos dados, relacionadas e veracidade e valor. E também de projetar serviços e estratégias que tornem úteis e eficazes a utilização dessa grande quantidade de dados.

BIG DATA E OS MAIORES DESAFIOS

O Big Data está sendo cada vez mais abordado devido aos avanços e novas tecnologias de dispositivos móveis. Com os recursos avançados de vídeo, fotografia, áudios e textos, os usuários estão trabalhando com dados em volumes elevados e continuamente em aumento.

Conforme a Gartner, empresa de Consultoria para tomada de decisão dos Estados Unidos, atualmente são movimentados cerca de 2,2 milhões de terabytes em dados diariamente, a previsão é que para 2020 existam 40 trilhões de gigabytes. Isso é apenas o começo. O número de assinantes na telefonia móvel deverá atingir quase 7 bilhões daqui a três ou quatro anos.

A captura, armazenamento e análise de grandes quantidades de dados já são antigos, mas o termo ficou conhecido nos anos 2000 quando Doug Laney, renomado analista de dados, definiu Big Data em 3 V´s: Volume, velocidade e variedade. E mais tarde foram reconhecidos mais dois V´s: Veracidade e valor. Sendo assim, é possível entender o Big Data por meio destes 5 V´s. O bom gerenciamento de dados é a base de um sistema de Big Data. Ou seja, a meta do gerenciamento é proporcionar dados confiáveis, de fácil acesso, gerenciáveis, bem armazenados e protegidos.

Os principais desafios do Big Data derivam por tanto, de obter a máxima eficiência nos V´s que precisam ser melhorados de maneira constante. E podem estar vinculados a limpeza, o processamento, a análise, a segurança e o fornecimento de acesso a conjuntos de dados dinâmicos. (Chen e Zhang,2014).

Conforme Oussous et Al(2017), os principais desafios para Big Data são: Inconsistências, erros e dados faltantes, sincronizar fontes externas com infraestruturas internas de organizações, armazenamento de dados, transmissão de dados em nuvem, segurança dos dados, técnicas para classificação de dados, aprendizado e análises em tempo real, melhorar os modelos de reconhecimento de dados de imagem e fala, ferramentas de visualização de dados, determinação da tecnologia adequada aos problemas e a falta de profissionais qualificados no mercado.

É possível identificar aplicações notáveis para o Big Data nos mais variados setores como na saúde, tornando possível o diagnostico preditivo, identificar, apontar e prever padrões de doenças e tratamentos. Assim como na área de marketing, para a segmentação de mercado, descoberta de novos nichos. Acompanhamento de desempenho de marcas e produtos. Possibilitando identificar tendências, acompanhar reação de campanhas e tudo em tempo real. Dentre outros setores que o Big Data é útil, como o financeiro, o de varejo, o de produção, e governamentais. O gerenciamento de grandes quantidades de dados oriundos destas áreas em breve terá que ser mais difundido.

Existem ferramentas bastante avançadas de Big Data, que oferecem uma plataforma e infraestrutura, como o Apache Hadoop, uma das mais famosas ferramentas, utilizada por grandes empresas como Google, IBM, Microsoft, Amazon, Facebook, Twitter, Samsung, Apple, Linkedln e Netflix. No entanto, após uma empresa ou organização definir uma ferramenta e conseguir armazenar de maneira adequada grande quantidade de dados. Retorna a uma demanda que não está ligada aos dados em si, mas sim, o que será feito com eles. Tornando uma necessidade dispor de profissionais qualificados. Serão os profissionais que irão traçar as estratégias, definir os problemas e identificar as respostas das ações que resultarão em dados. Serão os profissionais ainda, que vão unir esses dados e transformar em informação para obter respostas.

Taurion (2013) destaca que o Big Data, criou uma nova classe de profissional, o cientista de dados, que é um profissional multidisciplinar com conhecimento em ciência da computação, matemática, estatística e conhecimento do negócio que ele está inserido. Reunir todas essas qualidades demanda um tempo de aprendizagem e experiência, tornando a escassez de profissionais o maior desafio de Big Data a nível mundial.

Colaboração como em qualquer outra área, também é essencial para implementação de novas atividades de gerenciamento de dados estruturados e não estruturados. Ter profissionais engajados nas atividades torna importante a análise pelo aspecto humano e de gestão de pessoas. Uma vez que ao entender a importância dos dados, de suas atividades, sua própria importância no cenário. Estando bem física e psicologicamente para fazer aquilo que é esperado por vontade própria, constitui parte do que podemos chamar de engajamento dos profissionais. Através dos conteúdos e conceitos estudados para este artigo, é possível trazer uma análise crítica sob a qualificação de profissionais e o valor por trás deste enorme volume de dados e tecnologias. No ano de 2016, as pesquisas de opinião apontavam que a candidata republicana a presidência dos Estados Unidos, Hillari Clinton tinha mais de 85% das intenções de votos. O mundo inteiro estava focado nesses dois números: a vantagem de Hillary e os percentuais que sobravam para Donald Trump. Tal qual foi a surpresa, ela perdeu as eleições para o candidato de oposição. Os dados estavam apontado para uma conclusão enganosa, uma vez que nos Estados Unidos, as eleições são indiretas, cada estado elege a quantidade de pessoas em seu colégio eleitoral e vale mais vencer em muitos estados, do que ter muitos votos em um só. Nesse contexto, quando abordamos dados, é necessário levar em conta, contextos, cenários atuais, o aspecto humano por de trás de cada análise. Assim como um dado como este pode apenas iludir um país ou até mesmo o mundo. Quando trazidos erros como estes para outros setores da sociedade, os resultados podem ser catastróficos, tanto quanto o tamanho do volume de dados e informações.

Através de uma pesquisa do termo “cursos de Data Science” no Google Trends, é possível verificar que o interesse e a procura por conhecimento sobre a área aumentou 75% nos últimos 5 anos no Brasil.

Apesar deste aumento de interesse ser pequeno em relação ao crescimento desta área no mundo todo, com a velocidade das tecnologias dentro da cultura digital, trata-se de um dado positivo.

É possível notar através de informações na internet, que a oferta de cursos na área em escolas técnicas e universidades começaram a crescer. O governo brasileiro já iniciou sua jornada com o uso do Big Data para fins de investigação fiscal, redução de benefícios sociais, para previsões de arrecadação de impostos ou monitorando as redes sociais em busca de identificar manifestações, influenciadores e outras demandas políticas. Porém, ainda não há nenhuma iniciativa de incentivo a pesquisas e estudos científicos na área de Big Data, tanto para qualificação, para desenvolvimento de novas tecnologias e ferramentas, quanto para benefício das pessoas em setores atualmente críticos como segurança e saúde.  

A tendência é que a demanda por profissionais de dados irá crescer. Uma previsão da IMB é que haverá mais de 700 mil vagas para essas posições especializadas até 2020. Os setores como um todo precisarão se adequar ao crescimento do Big Data.  Contudo, atualmente a escassez de profissionais capacitados, sobretudo com a correlação com o ponto de vista humano é o maior desafio atual do Big Data.

CONSIDERAÇÕES

O Big Data já é realidade no Brasil e no mundo e em breve, os mais variados setores precisarão se adequar a estrutura de captação, armazenamento e análise de grandes volumes de dados. Com a análise feita, é possível concluir que principalmente características de veracidade e valor de dados se tratam de pessoas e não apenas de dados e dependem de profissionais qualificados para definir as estratégias adequadas e para a tomada de decisões mais seguras, baseadas em informações mais precisas e confiáveis.

De modo geral, estamos relativamente atrasados com relação à qualificação, incentivo de governo a nível educacional e implementação de ferramentas de Big Data. Mas, existe uma manifestação de interesse surgindo entre os profissionais e organizações. É possível ver o Big Data como a solução de muitos problemas de empresas, segmentos e sociedade. Possibilitando identificação de padrões individuais para obtenção das respostas de que precisamos de maneira inteligente.