Um estudo quantitativo(Parte 2)

Esta semana foi uma semana mais corrida do que a última. Continuei os estudos quantitativos mas o ritmo foi mais lento. A lista de anotações com ideias que quero testar está só crescendo, a vontade é de fazer tudo de uma vez só. Neste ponto, o trabalho de cientista de dados é um trabalho de formiguinha, coletar os dados, limpar, polir e guardar em uma "caixinha" bem organizada.

A "caixinha" que estou usando para guardar os dados é o google drive, nele eu criei vários csvs, alguns com históricos, outros com Logs e alertas. Um exemplo destes logs é, por exemplo, registrar que no início de março de 2020 ocorreu a pandemia do Covid, em novembro do mesmo ano o Biden foi eleito. Serão informações preciosas para calibrar o modelo no longo prazo.

Outra fonte das mais valiosas são os dados fundamentalistas. Na tentativa de coletar dados fundamentalistas encontrei um obstáculo, muitos destes sites são travados para raspagem (scrapping). Quando apontei meus algoritmos, os sites simplesmente bloquearam o acesso. O motivo pra isto é simples, tem gente que faz robô para ler os dados a uma frequência absurda, o que acaba prejudicando a performance dos sites. Minha solução foi emular um browser e fazer um código que lê o que o browser está renderizando. Em palavras mais simples, é como se o programa estivesse navegando pelos sites fundamentalistas, copiando e coletando os dados que vê na tela.

O resultado bruto foi uma tabelona fundamentalista, como pode ser vista na imagem.

Depois de raspar tudo, peguei o que me interessava e colei lá no nosso CSV de cotações, estas colunas são "features" que podem ou não contribuir para o valor do papel.

Outro trabalho interessante foi dar início a análises de sazonalidade. Será que a cotação, tomada no dia 14 de cada mês, apresenta algum padrão interessante? No livro "The Man Who Solved The Market", o autor cita que os analistas da Renaissance usam muito este tipo de técnica. Este tipo de trabalho não é uma garantia de sucesso, mas sempre pode indicar ouro no meio da lama dos dados brutos.

Criei uma tabelinha com as cotações do Ibovespa em todos os dias 14 de cada mês, vou extrapolar para outros papéis e outros períodos, jogar tudo no dataset e ver o que isto muda.

As perguntas se acumulam e estou só coletando a matéria prima para perseguir as respostas, na próxima semana pretendo organizar melhor os dados e eliminar alguns itens da lista de análises que pretendo implementar.

Nos encontramos semana que vem!