L'A/B test est devenu un réflexe. Mais en early-stage avec peu de trafic, c'est souvent une perte de temps.
Le problème statistique
Pour détecter un gain de 10 % avec un minimum de fiabilité, il faut généralement plusieurs milliers de conversions par variante. Si vous avez 50 conversions par mois, votre test durera 6 mois — et le contexte aura changé entre-temps.
Les alternatives qui marchent en early-stage
1. Le test qualitatif : 5 utilisateurs, 2 versions, on observe ce qu'ils font et on écoute pourquoi.
2. Le test séquentiel : on déploie A pendant 2 semaines, B pendant 2 semaines, on compare. Imparfait, mais utile.
3. Le test radical : on teste 2 propositions très différentes (pas 2 couleurs de bouton). Le signal sort plus vite.
Quand passer au "vrai" A/B test
Quand vous avez au moins 1000 conversions par semaine sur l'étape testée. En dessous, c'est de la décoration statistique.
La vraie question
Avant de tester, demandez : qu'est-ce que je décide selon le résultat ? Si la réponse est "rien de concret", ne testez pas.