Calendario de tests
Qué se prueba, en qué orden y por qué es el priorizado por impacto.
Agencia CRO · CR-003 · Experimentos & Testing
A/B testing web y landings
Una variable, una muestra calculada, un veredicto. Tests con significación estadística y no con la primera impresión que quiere ganar.
Un test sin muestra calculada no es un test: es una moneda al aire con formulario.
Que es y para quien
Experimentos que se pueden defender en una reunión.
Hipótesis, muestra, diseño, lectura y aprendizaje documentado. Lee la guía completa de CRO para el contexto teórico.
La mayoría de los A/B tests que se hacen en casa no concluyen nada. Cambian dos cosas a la vez, se paran cuando el número les gusta y con 200 visitas deciden. El resultado no es un dato, es una anecdote, y a los dos meses el equipo ya no recuerda qué se probó ni por qué.
Va dirigido a marcas con tráfico suficiente para medir y sin un sistema de experimentación. Entregamos el calendario de tests priorizado, el cálculo de muestra por experimento con su MDE, la instrumentación y el reparto de tráfico, la lectura estadística y el documento de learnings con lo que funciona y lo que no en cada servicio.
- Ecommerce que lanza cambios sin saber si ayudan.
- Media con una audiencia grande y un equipo de producto nuevo.
- SaaS que quiere validar pricing y onboarding con muestra.
- Agencias que necesitan un sistema de tests replicable por cliente.
Que incluye
Seis piezas de un programa de tests.
Hipótesis, diseño, ejecución y lectura.
Cálculo de muestra
Tamaño mínimo por test con el MDE y el nivel de confianza acordados.
Diseño de variantes
Una diferencia por test, con la alternativa y su justificación.
Instrumentación
Reparto de tráfico, control de calidad y medición sin sesgos.
Lectura estadística
Resultado, significación, intervalos y efecto real en negocio.
Documento de learnings
Qué se probó, qué ganó y qué se aplica, con su impacto.
Trazabilidad
Cada cambio se prueba antes de desplegarlo.
De la hipótesis al resultado, con la muestra y el cálculo a la vista.
- Hipótesis, métrica principal y MDE de la hipótesis y su métrica principal
- Muestra calculada y nivel de confianza, fijados en el calendario de experimentos
- Variantes, segmentos y exclusiones en 4 semanas
- Ganadores y perdedores con el motivo escrito
Como funciona
El ciclo de un experimento bien montado.
Cinco pasos que evitan el test que no demuestra nada.
-
01
Hipótesis
Se escribe qué se espera de la hipótesis y su métrica principal y con qué efecto observable.
-
02
Muestra
Se calcula el mínimo de muestra con el MDE acordado, según el calendario de experimentos.
-
03
Variante
Una sola diferencia por test, para saber qué explica el resultado.
-
04
Lectura
Se mide en 4 semanas y se decide con significación, no con impresión.
-
05
Aprendizaje
Se documenta lo aprendido, también cuando el test no gana.
Un test sin muestra calculada puede coronar a un ganador falso. Cuando el resultado no es concluyente, se escribe y se sigue.
Como trabajamos
De cambiar por intuición a cambiar con evidencia.
Hipótesis, diseño, ejecución, lectura y aprendizaje.
-
Calendario de tests
Prioridad y muestra de cada experimento, con la métrica de la hipótesis y su métrica principal.
-
Infraestructura de test
Motor de experimentación, reparto de tráfico y control de instrumentación.
-
Ejecución
Variantes desplegadas con el calendario de experimentos y un único cambio por test.
-
Análisis
MDE, p-value y lectura por segmento en 4 semanas.
-
Banco de learnings
Documento vivo con lo que funciona y lo que no, por servicio.
Donde rinde
Tres programas de test con resultado medido.
Mismo método, embudos con cadencias distintas.
Cambios de checkout publicados sin medir.
14 tests con muestra calculada: +31% de conversión y 9 cambios que sí funcionaron.
La portada cambiaba cada semana por intuición.
Calendario de tests y bloqueo de cambios: +22% de conversión en dos trimestres.
Un test de pricing con 400 visitas y resultado falso.
Reparto de tráfico y muestra real. La variante nueva subió el ingreso un 17%, no un 9%.
Sectores
Donde ya lo hemos optimizado.
Ecommerce
SaaS B2B
Servicios profesionales
Formación
Turismo
Finanzas
Salud
Retail
Media
Inmobiliario
Agencias
ONG
Lo mejor fue el documento de learnings. Dejamos de discutir por opiniones y empezamos a discutir por datos.
Carla D.
Head of Growth
Reseña verificada en Google
4,9/5 · 86+ opiniones.
¿Cuánto tarda en verse resultados?
De 3 a 4 semanas para preparar el programa. Un test dura entre 1 y 4 semanas según el tráfico. Con 20.000 visitas al mes, dos semanas suelen bastar para un test de 5 puntos.
¿Qué incluye exactamente?
Calendario de tests priorizado, cálculo de muestra por experimento, diseño de variantes, instrumentación y reparto de tráfico, lectura estadística y documento de learnings.
¿Necesito algo previo?
Tráfico medible (a partir de 5.000 visitas al mes), acceso a la herramienta de experimentación o a las funciones de A/B testing de tu plataforma, y eventos de conversión bien implementados.
¿Cómo se mide el resultado?
Con la conversión de la variante, el efecto absoluto sobre el ingreso y el incremental respecto a la variante anterior, no solo con el porcentaje.
¿Cada cuánto se revisa?
Mensual, con una revisión trimestral del calendario completo.
¿Cuántas visitas necesito para hacer un A/B test?
Depende del MDE que quieras detectar y de la conversión base. Con un 2% de conversión y querer detectar un 10% de mejora necesitas alrededor de 60.000 visitas por variante. Si tu tráfico no da ese nivel, las alternativas razonables son tests de la interfaz con menos usuarios, pruebas de usabilidad o experimentos de precio con ciclos más largos.
Reservar
¿Cuántos tests puedes permitirte?
Media hora para calcular qué muestra necesitas y qué MDE es realista con tu tráfico actual.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en A/B testing web y landings. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb