Problema y decisión
Qué predice el modelo y qué se hace con {obj}.
Agencia Data Analytics · D-018 · Predicción & Forecasting
Modelos de machine learning
Modelos que se pueden explicar. Clasificación, recomendación y propensión, con validación honesta y despliegue monitorizado.
Un modelo que no se puede explicar no se puede defender en un comité.
Que es y para quien
Modelos con validación, explicación y control.
Problema, features, validación, interpretabilidad y monitorización. Lee la guía completa de Data y Analisis para el contexto teórico.
El error más común al montar un modelo no es técnico: es no definir el problema. Una predicción sin una decisión asociada se entrena, se mide y no sirve para nada. El segundo error es medir mal: con un conjunto de validación mal construido, un modelo que no sabe nada puede parecer muy bueno.
Va dirigido a empresas con volumen suficiente de datos y con un problema concreto que la regla manual no resuelve. Entregamos la definición del problema y de la decisión asociada, la ingeniería de variables con su almacén, la validación cruzada y el conjunto de test apartado, la interpretababilidad con las variables que más influyen, el despliegue con su monitorización de deriva y el procedimiento de reentrenamiento y retirada.
- Marketplace que quiere recomendar mejor.
- Finanzas con scoring de riesgo y de propensión.
- SaaS B2B que predice qué clientes ampliarán el uso.
- Retail con clasificación de productos y de clientes.
Que incluye
Seis piezas de un modelo en producción.
Problema, variables, validación, explicación, despliegue y control.
Ingeniería de variables
Almacén de variables con su versión y {entregable}.
Validación honesta
Conjunto de test apartado y validación cruzada.
Interpretabilidad
Qué pesa en la decisión y por qué.
Despliegue
Puntuación en producción, con latencia y control.
Monitorización de deriva
Aviso cuando el modelo se queda viejo {plazo}.
Trazabilidad
Cada predicción dice cuánto se equivoca.
Del histórico al forecast, con el error medido y el intervalo a la vista.
- Variable objetivo, horizonte y periodicidad que exige la decisión que el modelo tiene que mejorar
- Variables, modelo y versión usados en el modelo con su informe de variables
- Error, intervalo y desviacion por período
- Fecha de reentrenamiento en 6 semanas
Como funciona
El ciclo de un modelo en producción.
De los datos a la previsión útil.
-
01
Objetivo
Se define la decisión que el modelo tiene que mejorar y el horizonte de predicción.
-
02
Datos
Se preparan las features que necesita el modelo con su informe de variables.
-
03
Modelo
Se entrena, se valida y se compara con la base.
-
04
Producción
Se publica la predicción con su intervalo.
-
05
Seguimiento
Se mide el error y se reentrena en 6 semanas.
Un forecast sin error medido no es una predicción: es una opinión con decimales.
Como trabajamos
De la intuición a la previsión con error conocido.
Objetivo, datos, modelo, producción y control.
-
Definición del objetivo
Qué se predice y para qué decisión.
-
Preparación de datos
Histórico limpio y features que requiere la decisión que el modelo tiene que mejorar.
-
Modelado
Alternativas comparadas con backtesting.
-
Puesta en marcha
Predicción diaria con el modelo con su informe de variables y alertas.
-
Control del error
Error medio, deriva y reentrenamiento en 6 semanas.
Donde rinde
Tres modelos que pasaron de la prueba al producto.
El mismo trabajo sobre problemas de predicción distintos.
Recomendaciones con reglas fijas y poca venta cruzada.
Modelo de propensión: +19% de venta cruzada en un trimestre.
Scoring de riesgo con reglas y muchas falsos positivos.
Clasificación con validación real: -41% de falsos positivos.
Clasificación de clientes que no se usaba para nada.
Modelo en producción: 6 decisiones de campañas al mes.
Sectores
Donde ya lo hemos montado.
Ecommerce
SaaS B2B
Retail
Marketplace
Turismo
Finanzas
Salud
Formación
Inmobiliario
Media
Agencias
ONG
Lo que más valoramos fue el informe de variables: por fin sabíamos por qué el modelo decidía lo que decidía.
Pau G.
Responsable de datos
Reseña verificada en Google
4,9/5 · 156+ opiniones.
¿Cuánto tarda en verse resultados?
De 5 a 8 semanas por modelo, contando la definición del problema y el despliegue. Los modelos que se entrenan con el histórico etiquetado no se aceleran.
¿Qué incluye exactamente?
Definición del problema y de la decisión, ingeniería de variables con almacén versionado, validación cruzada con test apartado, informe de interpretabilidad, despliegue monitorizado y control de deriva.
¿Necesito algo previo?
Acceso al histórico etiquetado, a la plataforma de despliegue y a un interlocutor que defina la decisión asociada al modelo.
¿Cómo se mide el resultado?
Con la precisión en el conjunto de test, la mejora frente a la regla anterior, el número de decisiones tomadas con el modelo y el coste de la decisión acertada.
¿Cada cuánto se revisa?
Trimestral, con reentrenamiento y revisión de la deriva y de las variables que han dejado de explicar.
¿Merece la pena un modelo de machine learning?
Solo cuando hay más datos que reglas y cuando el coste de equivocarse es alto. Si con diez reglas bien ajustadas se resuelve, un modelo no aporta: aporta complejidad y una caja negra que luego hay que explicar. El modelo se justifica cuando hay volumen, muchas variables que interactúan y una decisión que se repite miles de veces al día. En cuanto el problema se puede resolver con una regla, la regla gana.
Reservar
Cuentanos qué quieres predecir.
Media hora para ver si el problema que tienes es de datos o de decisión.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Modelos de machine learning. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb