Diseño factorial
Qué elementos entran, cuántos niveles y qué interacciones importan.
Agencia CRO · CR-004 · Experimentos & Testing
Multivariate testing
Más variantes, más información. Cuando el A/B se queda corto, varios elementos se prueban a la vez con diseño factorial.
Probar ocho combinaciones de golpe: mucho más rápido, con un precio.
Que es y para quien
Cuando un solo test no da para tanto.
Diseño factorial, efectos principales y coste de cada error. Lee la guía completa de CRO para el contexto teórico.
El A/B testing contesta una pregunta por vez. Cuando el cuello de botella no está en un elemento concreto sino en la suma de varios, hacer tests de uno en uno tarda meses y llega al mismo sitio. El multivariate resuelve varios a la vez, pero también multiplica el riesgo: un error de diseño no cuesta un 2% de caída, puede costar un 15%.
Va dirigido a equipos con tráfico alto y una web madura, donde el A/B ya no da para seguir bajando. Entregamos el diseño factorial del experimento, el conjunto de variantes con su diseño Taguchi, el análisis de efectos principales e interacciones, y el criterio de decisión con el que se descarta una combinación que pierde en un componente clave.
- Ecommerce con más de 100.000 visitas al mes y catálogo estable.
- Marketplace con muchas plantillas y un equipo de crecimiento grande.
- Media que necesita optimizar la home y la ficha a la vez.
- Travel con varios pasos de reserva simultáneos.
Que incluye
Seis piezas de un experimento multivariable.
Diseño, variantes, ejecución y lectura.
Variantes combinadas
Combinaciones generadas y filtradas por sentido de negocio.
Asignación de tráfico
Reparto mínimo por variante y control de la contaminación.
Ejecución
Despliegue simultáneo con una sola versión de contenido por variante.
Análisis de efectos
Efecto principal de cada elemento y su interacción con los demás.
Decisión y despliegue
Qué combinación gana, qué se descarta y por qué.
Trazabilidad
Cada cambio se prueba antes de desplegarlo.
De la hipótesis al resultado, con la muestra y el cálculo a la vista.
- Hipótesis, métrica principal y MDE de la variación que se busca detectar
- Muestra calculada y nivel de confianza, fijados en el diseño factorial del experimento
- Variantes, segmentos y exclusiones en 5 semanas
- Ganadores y perdedores con el motivo escrito
Como funciona
El ciclo de un experimento bien montado.
Cinco pasos que evitan el test que no demuestra nada.
-
01
Hipótesis
Se escribe qué se espera de la variación que se busca detectar y con qué efecto observable.
-
02
Muestra
Se calcula el mínimo de muestra con el MDE acordado, según el diseño factorial del experimento.
-
03
Variante
Una sola diferencia por test, para saber qué explica el resultado.
-
04
Lectura
Se mide en 5 semanas y se decide con significación, no con impresión.
-
05
Aprendizaje
Se documenta lo aprendido, también cuando el test no gana.
Un test sin muestra calculada puede coronar a un ganador falso. Cuando el resultado no es concluyente, se escribe y se sigue.
Como trabajamos
De cambiar por intuición a cambiar con evidencia.
Hipótesis, diseño, ejecución, lectura y aprendizaje.
-
Calendario de tests
Prioridad y muestra de cada experimento, con la métrica de la variación que se busca detectar.
-
Infraestructura de test
Motor de experimentación, reparto de tráfico y control de instrumentación.
-
Ejecución
Variantes desplegadas con el diseño factorial del experimento y un único cambio por test.
-
Análisis
MDE, p-value y lectura por segmento en 5 semanas.
-
Banco de learnings
Documento vivo con lo que funciona y lo que no, por servicio.
Donde rinde
Tres experimentos multivariables que valieron la pena.
Menos semanas, más aprendizaje y más riesgo gestionado.
El precio y el envío no funcionaban por separado.
Diseño de 8 variantes sobre la ficha: +19% de conversión y 6.000 euros al mes.
La home se reescribía cada mes sin conclusión.
MVT de portada, bloque y CTA: +14% de tiempo en página y +9% de suscripción.
Tres pasos de reserva con tres versiones.
MVT con 6 combinaciones: -18% de abandono en el paso de pago.
Sectores
Donde ya lo hemos optimizado.
Ecommerce
SaaS B2B
Servicios profesionales
Formación
Turismo
Finanzas
Salud
Retail
Media
Inmobiliario
Agencias
ONG
Ocho variantes de golpe y ninguna decisión por intuición. Eso no lopelin escuchar en una agencia.
Marco A.
Director de Growth
Reseña verificada en Google
4,9/5 · 86+ opiniones.
¿Cuánto tarda en verse resultados?
De 4 a 6 semanas por ciclo completo. Dos de diseño y lanzamiento, dos de lectura. El multivariate necesita más tráfico que el A/B, no menos.
¿Qué incluye exactamente?
Diseño factorial, variantes combinadas y filtrado, asignación de tráfico, ejecución simultánea, análisis de efectos principales e interacciones, y decisión de despliegue.
¿Necesito algo previo?
Más tráfico que para A/B. A partir de 100.000 visitas al mes. Necesitas también un equipo capaz de sostener varios experimentos simultáneos sin colisiones.
¿Cómo se mide el resultado?
Con la conversión de la combinación ganadora, el efecto por elemento y el impacto en ingreso, con el intervalo de confianza de cada lectura.
¿Cada cuánto se revisa?
Por ciclo de experimento, con revisión trimestral del diseño global.
¿MVT o test A/B?
A/B cuando tienes una hipótesis clara sobre un elemento y tráfico limitado: es más barato de interpretar y de revertir. Multivariate cuando hay varios elementos sospechosos, mucho tráfico y un equipo que pueda gestionar el riesgo. Lo que no funciona es hacer multivariate con la muestra de un A/B es ahí se mezclan dos métodos y no se obtiene ninguna conclusión válida.
Reservar
¿Cuántas combinaciones caben en tu tráfico?
Media hora para ver qué diseño factorial es viable con tus visitas reales y qué riesgo asumes en cada prueba.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Multivariate testing. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb