Framework de tests
Hipótesis, variable, métrica y criterio de éxito.
Agencia Email Marketing · E-018 · Analítica & Optimización
Testing y optimización de campañas
Aprender cada mes. Tests con hipótesis, muestra calculada y un calendario que cabe en la operación real.
Un test sin muestra calculada no es un test: es una moneda al aire con dos caras distintas.
Que es y para quien
Un calendario de tests que cabe en el trabajo real.
Hipótesis, muestra, calendario, priorización y documento de learnings. Lee la guía completa de Email Marketing para el contexto teórico.
Hacer tests sin saber cuánta muestra hace falta produce dos errores es cambiar cosas por debajo del umbral y quedarse con la versión que "ha salido mejor" por pura casualidad. Con una muestra mal calculada, el equipo acaba tomando decisiones al revés y pierde la confianza en el método.
Va dirigido a marcas que testean sin muestra, que testean demasiadas cosas a la vez o que han acumulado resultados que no han aprendido. Entregamos el framework de tests, el cálculo de muestra por tipo de email, el calendario de experimentos con una o dos variables, la priorización por impacto y esfuerzo y el documento de learnings que evita repetir lo que ya se sabe.
- Ecommerce que cambia el color del botón sin saber por qué.
- SaaS que testea el copy cada semana sin conclusion.
- Agencias que necesitan un método replicable con el cliente.
- Retail con muchas campañas y pocos datos por campaña.
Que incluye
Seis piezas de un sistema de tests.
Framework, muestra, calendario, variables, priorización y learnings.
Cálculo de muestra
Tamaño mínimo por tipo de email y por métrica.
Calendario de experimentos
Qué se testea cada mes y con qué prioridad.
Una variable por test
Regla para no ensuciar la lectura y la decisión.
Documento de learnings
Qué se ha probado y qué se ha aprendido {plazo}.
Priorización por impacto
Orden de los tests según esfuerzo y tamaño del efecto.
Trazabilidad
Cada número se puede explicar.
De la plataforma al negocio, con la diferencia entre abrir y comprar.
- Métrica, segmento y periodo de la variable que cambia y la métrica que decide
- Ingreso e impacto de el calendario de experimentos del año
- Tests con hipótesis, muestra y resultado
- Decisiones tomadas con cada lectura
Como funciona
El ciclo de una campaña optimizada.
De la lectura a la decisión y de la decisión al siguiente envío.
-
01
Medición
Se define la variable que cambia y la métrica que decide con la fuente y el periodo.
-
02
Lectura
Apertura, clic, conversión e ingreso de el calendario de experimentos del año.
-
03
Hipótesis
Qué cambia y por qué se espera ese efecto.
-
04
Test
Variante y muestra necesaria para concluir.
-
05
Decisión
Se aplica, se documenta y se revisa en 2 semanas.
Una apertura alta sin conversión es ruido. Mide la curiosidad, no el interés.
Como trabajamos
De mirar un panel a decidir con criterio.
Medición, atribución, tests y decisiones.
-
Medición base
Eventos, UTMs y calidad del dato de conversión.
-
Atribución
Qué canal y qué flujo generan la venta.
-
Panel
Una vista con las cinco métricas que importan.
-
Testing
Hipótesis, muestra y calendario de tests de el calendario de experimentos del año.
-
Decisión
Informe mensual con decisiones y su impacto.
Donde rinde
Tres programas de test que dejaron de adivinar.
El mismo trabajo sobre volúmenes y frecuencias distintas.
Un test por semana con dos variables a la vez.
Una variable y muestra calculada: +19% de conversión y cero decisiones revertidas.
Sujetos a escritorio y sin conclusiones válida.
Calendario mensual con muestra mínima: 36 tests al año y un documento vivo.
Campañas de un solo día sin datos suficientes.
Campañas con muestra garantizada: +12% de ingresos y menos horas de diseño.
Sectores
Donde ya lo hemos montado.
Ecommerce
SaaS B2B
Servicios profesionales
Formación
Turismo
Finanzas
Salud
Retail
Media
Inmobiliario
Agencias
ONG
Lo mejor fue el documento de learnings son los dejamos de probar cosas que ya sabíamos que no funcionaban.
Oriol T.
Consultora
Reseña verificada en Google
4,9/5 · 124+ opiniones.
¿Cuánto tarda en verse resultados?
De 1 a 2 semanas para el calendario de tests. Los primeros resultados concluyentes llegan en el segundo mes.
¿Qué incluye exactamente?
Framework de tests, cálculo de muestra por métrica, calendario de experimentos, regla de una variable, documento de learnings y priorización por impacto.
¿Necesito algo previo?
Acceso al ESP con capacidad de test A/B, al histórico de campañas y a las métricas de referencia.
¿Cómo se mide el resultado?
Con número de tests concluidos, efecto medio por tipo y decisiones tomadas con su impacto.
¿Cada cuánto se revisa?
Mensual, con el documento de learnings revisado en cada trimestre.
¿Cada cuánto se puede testear una campaña?
Con el tamaño de muestra necesario, una o dos veces al mes es un ritmo sano. Si la base no permite concluir, el test no se hace es se aplica el criterio delpanel y se registra como decisión, no como aprendizaje. Testear por debajo del umbral da falsos positivos y destruye la confianza del equipo en el método.
Reservar
Cuentanos tus tests.
Media hora para ver cómo decidís hoy qué versión de un email se envía.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Testing y optimización de campañas. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb