Algumas dicas para impedir o "complexicídio" de arruinar seus experimentos

O “complexicidio” é uma das principais causas de morte de experimentos valiosos.

Ideias de teste que parecem válidas podem acabar descaracterizadas, nunca lançadas ou ,pior, inconclusivas.

Sabe quando alguém no time tem aquela ideia de teste e todo mundo presente se encanta com o potencial dela?

Mas logo em seguida aparecem os empecilhos e o "complexicídio" se aproxima.

💬 “Vai ter que mudar x no produto e não tem espaço no backlog”

💬 “A integração com o Hubspot vai dar pau”

Também temos os penduricalhos

💬 “Seria bacana se a gente fizesse X junto”

💬 “Ah vamos acrescentar Y porque ajuda a gente com outro problema”

E, por último, os sonhos “esticados”

💬 ”Legal! Vamos fazer para a base toda. Por que testar?”

💬 ”Vamos aumentar em 100x a escala desse teste! Adorei”

Cada um desses pontos pode ser válido, mas vamos evitar a pressa em sair da ideia direto para a execução.

Na hora de encarar essas questões corremos o risco de um teste demorar muito para ser lançado, se tornar complexo demais para gerar aprendizado ou virar algo completamente diferente.

Cada um desses problemas pode matar o experimento antes dele ir para o ar ou, pior ainda, torna-lo inconclusivo.

Quanto mais ambicioso o teste, maior o risco disso acontecer.

Quero trazer uma história e algumas dicas sobre como diminuir o número de "complexicídios".

Um "causo" de experimento simples com lições úteis

Estava ajudando uma empresa com um produto SaaS B2B e que havia exaurido o principal canal de aquisição de leads. Eles buscavam novos canais, mas a máquina de vendas não podia parar.

Por isso, investigamos algumas oportunidades de curto prazo para não perder fôlego nas vendas.

Concluímos que a página de pricing tinha oportunidade em conversão de leads de alto valor.

A hipótese 🧪

Na época a empresa trabalhava com venda consultiva. A ideia era que o time de vendas ajudasse esses decisores a diagnosticarem melhorias em seus negócios.

O produto daquela empresa ajudava em vários pontos, mas mesmo que o cliente não fechasse naquele momento, seria uma interação valiosa.

O que eram reuniões de demonstração do produto viraram reuniões de diagnóstico.

Como isso era uma implementação recente, o site não falava nada a respeito.

A partir daí a hipótese:

🧪 Oferecer uma reunião de diagnóstico com especialista para quem estivesse saindo da página aumentará a conversão de "levantadas de mão" porque é um comprometimento menor do que "Fale com um especialista" ou "Agende uma demonstração"

Tenho uma relação de causa (oferta especial) e efeito (aumento na conversão).

E o melhor?

Tenho o porque de achar que essa ideia faz sentido.

Essa clareza ajuda na hora de executar porque existem n jeitos de comprovar se o racional por trás da relação de causa e efeito faz sentido.

Algumas ideias:

1. Inserir um texto falando sobre isso na página de planos
2. Mudar o CTA de "Agende demonstração" para "Agende seu diagnóstico" e ter um pequeno texto explicando esse diagnóstico
3. Inserir um vídeo curto falando sobre o diagnóstico e convidando para participar
4. Chatbot que oferece o diagnóstico (e por que não fazer um mini-diagnóstico?)
5. Exibir um pop-up quando a pessoa demonstrasse a intenção de sair da página, falando sobre o papo de diagnóstico e pedindo informações para alguém do time entrar em contato e agendar.

Os impeditivos 🚧

Vamos focar na ideia 5 e aproveitar que temos o Hello Bar instalado no site.

Mas aí aparecem questões que pedem um refinamento maior:

• Não havia integração nativa entre a ferramenta de pop-up e o CRM ou a automação de marketing.
• Via Hello Bar não conseguiríamos pedir as mesmas informações que conseguiríamos pelo formulário.
• Havia uma preocupação com clientes acessarem aquela página, se confundirem e pedirem para participar de um papo de diagnóstico. Sendo que upsell e cross-sell eram função de outro time.

Queremos lançar o mais rápido possível ao mesmo tempo em que não comprometemos a qualidade do experimento

Alguns caminhos:

1. Usar a ideia (2) e alterar o CTA. Continuamos testando essa hipótese e sem mexer em muita coisa. O maior impeditivo aqui era que mexer no site não era tarefa simples. Seja tecnicamente ou por necessidade de aprovação. Demoraria alguns dias, talvez uma semana.
2. Viabilizar a ideia (5) fazendo algumas configurações via Zapier e Hubspot. Na época eu tinha algumas ideias para resolver os problemas de integração e garantia de que clientes não fossem parar no time de vendas. Também demoraria alguns dias, talvez uma semana.
3. Implementar o pop-up (ideia 5) e importar manualmente os leads no CRM. A pessoa responsável pelo Hubspot conseguiria filtrar quem já fosse cliente antes de enviar os leads para o time de vendas. Ainda teríamos o risco de leads fora do perfil, curiosos e até quem já estivesse no funil de vendas. Nesse caso conseguiria colocar a ideia no ar em menos de uma hora.

Raio simplificador ⚡

Escolhemos a opção 3 por ser a que nos ajudaria a validar a hipótese mais rápido.

Pensando em todos os entraves para seguir com o teste, seria razoável pensar que precisamos de algum tempo e esforço para lançar esse experimento de forma escalável e segura.

Essa é a armadilha do "complexicídio".

Lembre que o que temos é uma hipótese. Ou seja, temos vozes da nossa cabeça e talvez alguns números como base. Não sabemos se é algo real, nem se o jeito de comunicar é esse mesmo.

Os caminhos (1) e (2) são mais caros e, dependendo do cenário, a equipe vai precisar despriorizar um teste simples como esse.

Por isso, priorizamos verificar se a hipótese era promissora com uma semana de importação manual todos os dias.

A dica é:

⚡ Pensa na ideia de experimento, adiciona o que você precisaria para lançar e "fatia" esse plano até ficar o essencial.

Eu garanto que a sua primeira ideia ainda não vai ser simples o suficiente.

Especialmente em produto, é comum uma ideia de experimento se transformar em 2-3 ideias muito mais simples e rápidas.

Você só precisa desafiar a sua primeira ideia.

Ou ter alguém que vai ajudar com isso.

Braçal com data de validade 💪

A importação manual aconteceria por uma semana e, se os resultados fossem promissores, seguiríamos mais uma semana com alguns ajustes. Se não, teríamos colocado pouco tempo nessa ideia e poderíamos investir mais energia em outras frentes.

Depois desse período os resultados foram encorajadores o suficiente para que acertássemos algumas das "pontas soltas".

Teste concluído! Investimos mais ou bora pra próxima?

O teste seguiu por mais uma semana e foi um sucesso.

O pop-up com oferta de reunião de diagnóstico aumentou o volume de leads vindos daquela página em quase 100%.

Verificamos que esses leads eram idênticos aos que preenchiam o form do ponto de vista de conversão e ticket médio. O que, inclusive, gerou algumas provocações sobre mudanças naquela página.

Então é isso? Sucesso e vamos para a próxima?

Não tão rápido.

Lá no inicio, antes de colocar o teste no ar, você precisa ter uma métrica-alvo e métricas auxiliares.

Essa métrica-alvo precisa ser diretamente relacionada ao experimento que você vai colocar no ar. Usar "receita", por exemplo, não serviria aqui. Especialmente pelo tempo de compra, tempo de uso do produto e n outras variáveis.

As métricas auxiliares te ajudam a explicar o comportamento daquela métrica-alvo e, dependendo do contexto, a verificar se você não foi longe demais na otimização daquela métrica-alvo.

Vamos ao exemplo:

Nosso objetivo com o experimento era aumentar o número de leads vindos da página de planos.

Esses leads precisam ter algum fit com o produto. Na época, havia critérios para definir se aquele lead que chegou no comercial deveria ter chegado ali ou não.

Usamos o motivo de perdido computado no CRM e na etapa de abordagem como meio de verificar esse fit.

Então como ficaria nosso esquema de métricas?

📊 Métrica-alvo: Quantidade de leads

Métricas auxiliares:

1. Percentual de leads fora do perfil (mensurado ao longo do teste)

2. Percentual de leads que viraram clientes (mensurado ao longo do teste e 2 semanas depois)

Ao final do experimento conquistamos um significativo aumento no volume de leads. O problema é que o percentual de leads fora do perfil estava acima do que considerávamos saudável.

Considerando exclusivamente os leads dentro do perfil esperado, conseguimos um aumento de 70% (ainda um número interessante).

A partir desse aprendizado iteramos em cima da integração que enviava esses leads para o CRM e o share de leads desqualificados voltou a patamares aceitáveis.

Por isso é tão importante contar com métricas auxiliares e não ficar míope com o alvo imediato do seu experimento. Porque a partir de um teste você ganha insights valiosos para fazer novos testes ou ajustar detalhes no que você lançou.

Ao longo dos meses seguintes o padrão se manteve e, de fato, houve adicionalidade com esse experimento.

Agora sim podemos comemorar! 🚀🚀🚀

Sobre bom senso ⚖️

O raciocínio utilizado aqui vai ser útil para 90% das empresas que realizam testes em seus canais de comunicação ou produto.

Só é importante frisar que em setores altamente regulados, indústrias complexas e marcas mais consolidadas, é bem mais difícil aplicar esse "raio simplificador" assim e ajustar as táticas ao longo do caminho.

Você vai trabalhar muito em cima de consenso e mitigação de riscos.

A eterna dança com o "complexicídio"

Espero que a história e as ideias sejam úteis.

Que você consiga visualizar os indícios de que o "complexicídio" ameaçam o que você e seu time buscam.

Achei válido trazer um exemplo mais simples e que foi bem sucedido, mas você provavelmente já sabe que os exemplos mais complexos e/ou fracassados é que marcam mais.

Pretendo falar mais desses também.