Tamanho de amostra para teste A/B: como calcular
O tamanho de amostra é quantos usuários (como no GA4) cada versão de um teste A/B precisa receber antes de você confiar no resultado. Informe a conversão atual e a conversão esperada na nova versão e veja a amostra na hora. Roda no navegador e não guarda os valores que você digita.
Resultado
Como chegamos nesse número
Quanto mais perto da conversão atual a nova versão estiver, mais usuários o teste pede: metade da diferença custa, na prática, o quádruplo de usuários.
Para rodar e acompanhar experimentos de growth, conheça o Thesis One.
Exemplo
Exemplo: conversão atual de 5%, conversão esperada de 6% e 1.000 usuários por dia.
Diferença a confirmar: de 5% para 6% (20% a mais).
Cada versão: 8.158 usuários.
Total: 8.158 × 2 = 16.316 usuários.
Duração: 16.316 ÷ 1.000 = 16,3, ou seja, cerca de 17 dias.
Um caso real: a campanha de 2008
Na campanha presidencial de Barack Obama em 2008, o time testou a página de cadastro do site: 4 botões e 6 mídias, 24 combinações no total. Segundo a Optimizely, que publicou o caso, 310.382 visitantes passaram pela página e cada combinação foi vista por cerca de 13.000 visitantes.
A página original convertia 8,26% em cadastros. A melhor combinação chegou a 11,6%.
Na calculadora, uma conversão atual de 8,26% e uma conversão esperada de 11,6% pedem 1.258 usuários por versão. Eles tinham cerca de 13.000, então sobrava tráfego para confirmar essa diferença. Essa é uma observação nossa, feita depois: o relato da Optimizely não diz se a campanha calculou a amostra antes do teste.
Com 24 combinações, o vencedor tende a parecer melhor do que realmente é, porque a escolha é feita entre muitas opções. Esta calculadora trata de duas versões.
Fonte: Optimizely, Obama's $60 million dollar experiment.
Por que não dá para parar o teste quando uma versão parece ganhar
Durante o teste, a diferença entre as versões sobe e desce por puro acaso. Nos primeiros dias, com pouca gente, ela costuma ser grande, e uma versão pode parecer muito melhor sem ser.
Olhar o resultado várias vezes e parar quando uma versão parece ganhar se chama peeking. Cada olhada é mais uma chance de pegar um desses picos de acaso, e a taxa de falsos positivos fica bem acima dos 5% que a confiança de 95% promete.
Um falso positivo é um vencedor que não existe: você publica a variação, espera a melhoria e ela não aparece.
A regra é simples: defina a amostra antes de começar, rode até atingi-la e só então decida.
Perguntas frequentes
O que é tamanho de amostra?
É o número de usuários que cada versão precisa receber para que a diferença entre elas seja confiável. Com menos gente do que isso, uma diferença real pode passar despercebida e uma diferença aparente pode ser só acaso.
Por que 95% de confiança e 80% de poder?
São as premissas mais usadas em testes A/B. Com 95% de confiança, se não houver diferença real entre as versões, o teste aponta um vencedor por acaso em só 5% das vezes. Com 80% de poder, se a diferença existir no tamanho que você definiu, o teste a detecta em 8 de cada 10 vezes.
O que é a conversão esperada na nova versão?
Não é uma previsão. Pense: a partir de que conversão a mudança compensa o esforço? O teste é dimensionado para confirmar essa diferença com segurança. Se a conversão atual é 5% e a mínima que valeria a pena é 6%, o teste foi feito para confirmar a passagem de 5% para 6%. Se a nova versão ficar abaixo disso, o resultado pode ser inconclusivo. Anote essa hipótese antes de começar o teste. Quanto mais perto da conversão atual, mais usuários o teste pede.
O que conta como usuário?
É a métrica Usuários do GA4. Não é visualização de página: o mesmo usuário que recarrega a página várias vezes conta uma vez. Use a mesma contagem na conversão atual e nos usuários por dia; se você mede por sessão, use sessões nos dois campos.
Posso testar mais de duas versões?
Sim, mas cada versão extra precisa da própria amostra e aumenta a chance de um falso positivo, então planeje mais tráfego. Esta calculadora considera duas versões: a original e uma variação.
Quanto tempo devo rodar um teste?
Até atingir a amostra calculada e por pelo menos 7 dias, para cobrir um ciclo completo de semana, já que o comportamento muda entre os dias. Se a duração passar de 60 dias, reveja a diferença que você espera confirmar ou a página testada.
O que fazer com pouco tráfego?
Aumente a diferença que você espera confirmar ou teste mudanças maiores, que têm mais chance de gerar uma diferença grande. Se você informar os usuários por dia, a calculadora mostra qual conversão o teste consegue confirmar em 30 dias.
Quer saber onde o seu growth trava?
O tamanho de amostra é um número. O Diagnóstico de Maturidade em Growth mostra o que está por trás dele: aquisição, retenção, dados e processo. É grátis e leva poucos minutos.
Fazer o DiagnósticoSe o diagnóstico apontar o caminho, no Growth Blueprint eu trabalho com você em 4 encontros semanais para transformar isso num plano de experimentos.