Quem quer ser um Big Data professional?

Já fazem mais de 8 anos, com Big Data na veia, onde tenho percorrido diversos projetos e ambientes diferentes.

Anteriormente minha postura de trabalho e minha vontade eram apenas de ter minha cadeira, uma máquina boa para se trabalhar e esperar as requisições, especificações e as demandas. Eu que, era um profissional de sistemas WEB, microsoft, sempre com metodologias de projetos fixas, com etapas e processos controlados á risca, muitas vezes engessados. Certo dia, muito incomodado com o marasmo em minha carreira, leio um artigo que não lembro mais a referência, citando, o conceito BIG DATA e suas possíveis aplicabilidades. Aquilo foi um instante maravilhoso, me apaixonei pela ideia, havia encontrado o que acreditava que realmente traria mudanças no mundo da TI. 

E por que, eu sentia essa sensação de ser algo tão revolucionário?

Antes eu entrava em um novo ambiente de trabalho e rapidamente avistava as mesmas posições de lideranças, preenchidas por alguns profissionais que conheciam afundo certas tecnologias em alta no mercado, muitas vezes sem embasamento estratégico ou mesmo humano, profissionais de Oracle, Teradata, MicroStrategy, SaS entre outras tecnologias. Esses profissionais direcionavam as atividades e demandas da área, embutido de burocracias e metodologias que se usavam por anos, sem nenhuma releitura ou adaptação. Diga-se de passagem, muitos escondiam o conhecimento e até limitavam a expansão da própria área e seus projetos.

Parecia que o caminho para o crescimento profissional, era então, ser um profissional igual? Investir em certificações caríssimas e cursos sem didática alguma? Apenas com o mérito de ser apto a responder sobre questões daquele quadradinho que vivenciava dia a dia, no qual, em pouquíssimas situações se enxergava a visão estratégica da organização.

... em pouquíssimas situações se enxergava a visão estratégica da organização.

Foi então, que, consegui uma grande oportunidade em um projeto Big Data, um projeto com alta criticidade e complexidade envolvida, um dos primeiros cases do Brasil, multinacional de telecomunicações, um investimento em constante avaliação interna de seus resultados. E qual o diferencial para tudo o que eu conhecia? 

De cara, tive acesso a profissionais pensadores, pessoas renomadas, estrangeiros de alto nível, simpáticos e bem humorados, compartilhadores de ideias e conhecimentos. Havia visibilidade na estratégia corporativa, sabedoria sobre qual a ideia macro, qual a minha responsabilidade ali naquele time e o quão eu poderia evoluir e trazer mais resultados e o melhor de tudo, trazer ideias.

Dali em diante, fui acompanhando a ascensão Big Data no mercado e simploriamente falando, avistei o acontecimento de uma onda de mudanças.

• Muitas culturas se adaptaram;
• Informações e suas disponibilidades evoluíram em termos de qualidade e confiabilidade;
• Projetos e metodologias se atualizaram para acompanhar a velocidade das demandas e entregas;
• Entregas foram remodeladas, modularizadas e integradas em esteiras estratégicas;
• Surgiram novas profissões, como engenheiro de dados, analista de dados, arquiteto de dados, cientista de dados, entre outras;
• O clico de vida do dado virou mola motor de todas as estratégias corporativas.
• Explodiu os conceitos de Machine Learning, Deep Learning, Inteligência Artificial, IoT e Analytics.
• O negócio hoje caminha fortemente junto a TI;
• A Governança está cada vez mais difundida e aplicada;
• A Segurança da informação virou uma necessidade;
• Novos profissionais são reconhecidos pela vontade de aprender e pelo que já podem oferecer, líderes não tem idade mínima, o autodidata tem poder e títulos são adendos em busca do conhecimento;
• Startups tracionam o mercado e giram a economia, EdTechs impulsionam a educação, novas tecnologias entregam qualidade de vida e salvam vidas.
• Plataformas fomentam conhecimentos, arquiteturas são ilimitadas, Cloud Computing expandiu exponencialmente as fronteiras;
• Digitalização e Virtualização tornaram-se premissas para qualquer arquitetura;

E por aí vai... UUFA!!

Muito disso é até desassociado do Big Data, mas tenho profunda crença que o gatilho sem dúvidas foi a ideia BIG DATA.

E nessa jornada, conheci diversos profissionais, muitos satisfeitos em sua área e suas posições, porém sempre encontro os que me perguntam, como posso fazer para ingressar no Big Data? Posso dizer que, ver a transição como uma mudança vertical não é o melhor prisma, agregue como uma bagagem horizontal, você irá expandir seu leque de conhecimento, a chave para a busca da excelência e sucesso é sem dúvidas se atualizar constantemente sobre as tendências, inovações e conteúdos que aportam no mercado.

Seus entendimento necessários são:

Data Lake, entenda o máximo sobre as estratégias de dados, sobre segregação lógica e física das informações, qualidade e segurança dos dados e metadados. Absorva conhecimentos sobre as melhores abordagens utilizadas pelos cases de sucesso e variedades do mercado, em segmentos e necessidades diferentes.

NoSql, esse conceito é muito importante, uma grande dificuldade é a quantidade de atualizações que o profissional deve ter sobre ferramentas, entenda as aplicações de uma arquitetura com bancos NoSqls, leia sobre os modelos existentes no mercado. Aprenda sobre os mecanismos de indexação, chave/valor, upsert e as mais variadas funcionalidades. Você irá encontrar estruturas de logs, documentos, grafos e demais estruturas de dados, compreenda as de maior sucesso no mercado e suas integrações.

Hadoop, altamente utilizado quando se fala de projetos Big Data, o Apache Hadoop é uma plataforma de software de código aberto para o armazenamento e processamento distribuído para grandes conjuntos de dados, utilizando clusters de computadores. Os serviços do hadoop fornecem armazenamento, processamento, governança, segurança e operações de Dados. As distribuições consolidadas no mercado são Hortonworks e Cloudera.

Spark, o Apache Spark é um mecanismo de análise unificada para processamento de dados em larga escala, no qual obtém alto desempenho para dados em lote e de fluxo contínuo, usando um agendador de DAG de última geração, um otimizador de consultas e um mecanismo de execução física. Outro grande diferencial é sua compatibilidade em plataformas e ferramentas, sendo disponibilizado para processamento em Hadoop, Kubernetes, Mesos, AWS, AZURE, GCP, entre outras.

Plataformas Cloud, o profissional Big Data, comumente irá trabalhar com arquiteturas na nuvem, tanto 100% cloud, como as denominadas híbridas, cloud x on premise ou cloud x cloud. As plataformas contêm uma infinidade de ferramentas, serviços e funcionalidades para as mais variadas necessidades, como, armazenamentos, processamentos, ingestões, tratamentos, visualizações, machine learning e muitas outras. Sendo de grande ajuda, entender e compreender os mecanismos para acessos e permissões, controle e integrações de usuários e virtualizações. As dominantes no mercado são AWS, GCP e AZURE, emergindo algumas outras como a DigitalOcean, que tem ganhado admiradores.

Mensageria, atualmente, diversas soluções tem arquiteturas para consumo de mensageria, temos o streaming de redes sociais, por exemplo, análise de sentimentos, leituras de páginas com web crawlers, filas e tópicos de mensageria de redes internas corporativas e demais necessidades. Esse conceito funciona como um barramento para mensagens recebidas de uma fonte produtora, no qual as ferramentas fazem a gerencia e controle, disponibilizando funcionalidades para a manipulação do fluxo das informações. Indico fortemente o entendimento de Filas e Tópicos. As ferramentas mais comuns são, Kafka, RabbitMQ, Tibco entre outras.

Com o embasamento desses pilares, você entrará em uma nova fase de entendimento, que abrange suas expectativas e áreas de interesse para atuação no universo Big Data:

• Engenheiro de dados;
• Arquiteto de dados;
• Arquiteto de soluções;
• Desenvolvedor de aplicações;
• Analista de dados;
• Desenvolvedor de visualizações de dados;
• Dev/Ops e/ou administrador de infra estrutura;
• Governança e Segurança;
• Cientista de dados;
• Consultor Big Data;

E o que você quiser... rsrsrs!

Resumindo, o mercado tem uma carência elevada de profissionais, conceitos estão surgindo a todo instante. A Transformação Digital é a verdade do mercado, a informação é o valor e o conhecimento é a nova moeda.

Embarque em seus estudos algumas atitudes e práticas de produtividade. Implemente no seu dia a dia, ferramentas para controle de tarefas e objetivos. Aplique um KANBAN na sua vida, use ferramentas de lembretes como KEEP. Centralize suas anotações, favoritos e estudos em um EVERNOTE. Filtre curadores de conteúdos e os acompanhe diariamente. Leia todos os dias sobre as inovações, tendências, cases e boas práticas do mercado. Compartilhe e discuta os assuntos relativos a seus estudos e aprendizados. Enfim, otimize suas estratégias e expanda seu cabedal de conhecimentos, com isso, tenho certeza que nos veremos por aí!!!

Muito sucesso à todos!!!!