Inventario de bots
User agents, propietario, propósito y tráfico real de cada rastreador.
Agencia GEO · G-011 · Rastreo & Acceso
Rastreo por bots de IA
Si el bot no entra, no hay cita. Registro, permisos y presupuesto de rastreo para GPTBot, PerplexityBot, ClaudeBot y similares.
Bloquear al bot no es esconderse: es que nadie te cite y que no te lo cuentes.
Que es y para quien
Quién entra, cuánto entra y con qué permiso.
User agents, robots.txt, frecuencia, caché y registro de peticiones. Lee la guía completa de GEO para el contexto teórico.
Los rastreadores de IA son un grupo nuevo de clientes. Piden el contenido, no enlazan, no respectan las metaetiquetas de noindex y cada uno con su propia user agent. La pregunta no es si hay que bloquearlos: es qué se permite, con qué límite y con qué evidencia. Un bloqueo mal puesto se pierde sin que nadie se entere, porque el rastreador no avisa.
Va dirigido a marcas que han bloqueado rastreadores sin saberlo, a equipos que ven tráfico de bots desconocido y a quien quiera medir el acceso antes de decidir. Entregamos el inventario de bots con su tráfico real, el registro de peticiones, la configuración de permisos y frecuencia, las cabeceras de control y la verificación de que lo que se permite se cumple. No es indexación de buscador. Aquí no hay páginas que posicionar, hay fuentes que dejar leer o no.
- Marcas con bloqueos accidentales que nadie ha revisado.
- Medios con mucho contenido y mucho bot.
- Agencias que gestionan el acceso de varios clientes.
- Ecommerce con catálogos que los asistentes consultan.
Que incluye
Seis piezas de un acceso controlado.
Inventario, registro, permisos, frecuencia, verificación y control.
Registro de peticiones
Un log de qué bot pidió qué página y con qué respuesta.
Permisos en robots.txt
Allow y Disallow por bot, con la decisión documentada.
Control de frecuencia
Límite de peticiones y caché para no castigar al servidor.
Cabeceras de control
Directivas de bots enviadas en cada respuesta.
Verificación
Comprobación mensual de que el acceso real coincide con la política.
Trazabilidad
Cada bot tiene permiso y presupuesto.
Del registro del bot a la política escrita, con el acceso medido en cada paso.
- User agent, propósito y estado de qué bots pueden leer tu web
- Permisos y presupuesto de rastreo de la política de acceso y su registro
- Páginas servidas y respuestas por código
- Cambios de política con su motivo
Como funciona
El ciclo de un acceso controlado.
De la petición del bot a la política que la decide.
-
01
Registro
Se identifica qué bots pueden leer tu web. Qué bot es, de dónde viene y qué pide.
-
02
Decisión
Se decide permitir, limitar o denegar, con la política de acceso y su registro por escrito.
-
03
Respuesta
El servidor responde rápido, con la caché y el presupuesto que toca.
-
04
Verificación
Se comprueba que el bot recibe lo que la política promete.
-
05
Revisión
Se ajusta la política cada trimestre.
Bloquear un rastreador de IA es una decisión de negocio, no una casilla técnica. Cortaste el acceso, no el problema.
Como trabajamos
De dejar pasar a todo a decidir con criterio quién lee qué.
Inventario, política, configuración, control y revisión.
-
Inventario de bots
User agents, propósito y tráfico real de cada rastreador.
-
Política de IA
Qué se permite, qué se limita y qué se rechaza, por escrito.
-
llms.txt
Las fuentes que quieres que se citen, en un archivo legible. La política de acceso y su registro.
-
Configuración
robots.txt, directivas y cabeceras en 2 semanas.
-
Control
Registro de peticiones y revisión periódica de accesos.
Donde rinde
Tres webs que rotaron el control de bots.
El mismo trabajo sobre sitios muy distintos.
Bloqueado GPTBot por una regla copiada de 2023 es el cero citas y cero aviso.
Inventario y política escrita son los permisos razonados y 21 citas en dos meses.
Un 18% del tráfico del servidor venía de bots sin identificar.
Registro por user agent es caché y frecuencia ajustadas y el servidor un 34% más barato.
Cada cliente bloqueaba de forma distinta, sin criterio.
Política de acceso estándar para 30 cuentas y un panel de verificación mensual.
Sectores
Dónde ya lo hemos montado.
SaaS B2B
Ecommerce
Consultoría
Medios
Formación
Salud
Finanzas
Turismo
Inmobiliario
Agencias
Retail
ONG
Nos contaron que la IA no leía la web. Llevaba un año bloqueada por un archivo de 2019.
Andrés K.
CTO
Reseña verificada en Google
4,9/5 · 96+ opiniones.
¿Cuánto tarda en verse resultados?
De 1 a 2 semanas para el inventario y la configuración. La verificación es continua desde el primer día.
¿Qué incluye exactamente?
Inventario de bots, registro de peticiones, permisos en robots.txt, control de frecuencia, cabeceras de control y verificación mensual.
¿Necesito algo previo?
Acceso a los registros del servidor y a la configuración del robots.txt y de la CDN.
¿Cómo se mide el resultado?
Con el porcentaje de peticiones permitidas por bot, el tráfico servido y el número de fuentes citadas tras el cambio.
¿Cada cuánto se revisa?
Mensual, con revisión trimestral de la política.
¿Es mejor bloquear a los rastreadores de IA?
Depende del modelo de negocio y hay que decidirlo con datos. Bloquear protege contenido que no quieres ver citado, pero también elimina la fuente. Lo que no funciona es bloquear sin saberlo. Un robots.txt copiado puede llevar un año cerrando la puerta sin que nadie lo sepa. La recomendación siempre es medir primero y decidir después.
Reservar
Cuéntanos tu web.
Media hora para ver quién está leyendo tu web y qué has permitido sin querer.
Reserva tu videollamada gratuita
30 minutos con Jorge Sánchez Mosquete, experto en Rastreo por bots de IA. Sin compromiso, en español.
•
LMXJVSD
Selecciona un día
• Empieza eligiendo un día disponible en el calendario
Powered by Netbulb