CRO: convertir más de lo que ya tienes

La cadencia la marca el tráfico, no las ganas. Con 20.000 visitas al mes, un test de dos semanas con una muestra calculada suele bastar; con 200.000 se pueden encadenar tres o cuatro en el mismo mes. Lo que no funciona es lanzar tests sin muestra es se gastan slots y no se aprende nada.

Un test que no gana se documenta igual es descarta una hipótesis y evita que el equipo repita el mismo experimento. El error caro es reinterpretar el resultado cuando no salió como queríamos.

En Netbulb calculamos la muestra antes de arrancar y avisamos si el test no va a ser concluyente. Si el MDE que necesitas es mayor que tu mejora esperada, te decimos que ese test no compensa.

Depende del problema y del tráfico. A/B testing cuando hay una hipótesis clara sobre un elemento es más barato de interpretar y de revertir. Multivariate testing cuando hay varios elementos sospechosos, mucho tráfico y un equipo que pueda gestionar el riesgo de perder en un componente clave.

Lo que no funciona es hacer multivariate con la muestra de un A/B es se mezclan dos métodos y no sale ninguna conclusión válida.

Un CRO senior con apoyo de diseño y de datos. Las cuentas grandes se reparten por embudo y por mercado, nunca por volumen de tests. Cada cuenta tiene un owner que conoce el negocio y decide qué merece la pena probar.

Si el equipo del cliente tiene perfil, hacemos la gestión conjunta. Ellos implementan y nosotros dejamos el sistema, la documentación y las reglas montadas.

Documentación escrita. Mapa del embudo, backlog de oportunidades, calendario de tests, documento de learnings, modelo de datos y manual de experimentos con su cálculo de muestra.

Nada de lo que entregamos depende de una llamada. Cuando el equipo se queda sin nosotros, el sistema sigue funcionando y el reporting se lee sin contexto.