Na avaliação do projeto social, qual deve ser o papel da equipe executora? (Parte I)

É comum vermos organizações do terceiro setor contratarem especialistas externos, em geral doutores da academia, para avaliarem o impacto dos seus projetos sociais. Acreditam que, dessa maneira, dão credibilidade ao trabalho social que desenvolvem e, assim, conseguem garantir novas doações e financiadores.

O problema é que, na maior parte das vezes, essas avaliações contratadas pouco interagem com a dinâmica do projeto social. Em grande medida isso se deve ao fato de que a conversa entre as equipes executoras e os avaliadores fica restrita a dois momentos: no início, na encomenda da avaliação; e ao final, na entrega dos resultados. E os aguardados resultados só fazem referência à probabilidade de o projeto ter tido (ou não) efeito significativo nas variáveis esperadas, dentro de uma determinada margem de erro. Se teve efeito, foi ótimo; se não teve, vamos procurar ter da próxima vez.

Decorre, daí, que a contribuição da avaliação para a efetividade do projeto social acaba tendo um papel muito reduzido. Sem falar que, na maior parte das vezes, é considerado como um fardo para a organização. O que fazer para melhorar a relação entre a avaliação e o projeto social?

No texto de Libby Watkins para o site da Evaluation for Change (28.06.2016) ela enfatiza um dos aspectos que poderia ser melhorado, ou seja, o relacionamento entre os avaliadores e as equipes executoras do projeto social. 

Segundo Watkins, as equipes executoras precisam ser diretamente envolvidas no processo da avaliação. Com isto, a avaliação - e, portanto, também os avaliadores - têm muito a ganhar. As equipes executoras são as pessoas que melhor conhecem o projeto e que mais podem ajudar na avaliação. Elas têm uma perspectiva única sobre o projeto, aí incluído o que funciona e o que não funciona, e o que realmente precisa ser mensurado. Os seus insights são essenciais para criar as perguntas avaliativas e escolher as metodologias.

Para Watkins, é preciso também que os avaliadores saibam conquistar as equipes executoras para serem suas aliadas. E isso não acontece da noite para o dia, porque até agora a avaliação não costuma ser benvista pelo grupo dos executores, percebida por eles como mais carga de trabalho (e pouco útil para o andamento do projeto em si) e ainda podendo vir a ter caráter punitivo.

Ela dá algumas dicas para essa “conquista”: primeiro, a causa social deve ser o mantra forte a unir o trabalho de ambos os grupos – avaliadores e executores. Segundo, incluir de fato as equipes executoras ao longo de todo o processo avaliativo, desde a criação do marco lógico até a apresentação dos resultados – e deixar claro que não é apenas “da boca pra fora”. Terceiro, buscar maneiras de compartilhar os dados de forma útil, de modo que os  executores possam de fato melhorar o seu trabalho em tempo hábil, e a avaliação consiga iluminar os sucessos do impacto na vida dos beneficiários e sua relação com o  trabalho da equipe executora. Dessa maneira, se cria uma parceria “simbiótica” entre avaliadores e equipe executora, em que um grupo ajuda o trabalho do outro.

Enfim, essa estratégia proposta por Watkins é uma das maneiras para melhorar a contribuição da avaliação para a efetividade do projeto social. Em um próximo post, vou comentar outra estratégia de avaliação (relacionada ao papel da equipe executora) que, a meu ver, tem um potencial de contribuição ainda maior para o projeto social.