Los bots de IA llevan dos años rastreando cualquier web con la misma intensidad que Google, pero sin el mismo trato a cambio: casi nunca traen una visita. GPTBot, ClaudeBot o CCBot entran en el servidor, copian el contenido y lo usan para entrenar modelos que luego responden sin enlazar a la fuente.
Para un equipo técnico que gestiona el blog o la tienda de una empresa, la pregunta ya no es si estos rastreadores existen, sino cuáles conviene bloquear en el robots.txt, cuáles conviene dejar pasar porque sí dan visibilidad en las respuestas de IA, y qué pasa si no se toca nada.
Los rastreadores de IA dedicados a entrenamiento —GPTBot, ClaudeBot, CCBot, Bytespider— se pueden bloquear en el robots.txt sin perder visibilidad en ChatGPT o Perplexity, porque esas respuestas usan otros bots distintos (OAI-SearchBot, PerplexityBot). Bloquearlos solo evita que el contenido entrene modelos de terceros y ahorra el ancho de banda que consumen sin devolver tráfico.
Qué tipos de bots de IA rastrean tu web
No todos los rastreadores de IA hacen lo mismo, y tratarlos igual es el primer error. Cloudflare, que da servicio a más de una quinta parte del tráfico web mundial, separa el rastreo de IA en tres usos: entrenamiento de modelos, motores de búsqueda conversacional y acciones que ejecuta un agente por encargo de un usuario. En julio de 2025 el entrenamiento representaba el 79% de ese tráfico; la búsqueda, el 17%; y las acciones de agente, apenas el 3,2%.
Bots de entrenamiento: GPTBot, ClaudeBot y CCBot
GPTBot es el rastreador de OpenAI dedicado a recoger contenido para entrenar sus modelos generativos; la propia documentación de la compañía explica que, si se bloquea en el robots.txt, el aviso se respeta y el contenido queda fuera del entrenamiento de sus modelos fundacionales. ClaudeBot cumple la misma función para Anthropic, y CCBot rastrea para Common Crawl, el archivo abierto del que se nutren decenas de modelos distintos, no solo los de una empresa.
Entre julio de 2024 y julio de 2025, GPTBot pasó de representar el 4,7% al 11,7% del tráfico de bots que registra Cloudflare, y ClaudeBot del 6% al 9,9%: son, con diferencia, los que más han crecido. Ninguno de los tres aporta tráfico de vuelta, solo copian.
Bots de búsqueda y de agentes: OAI-SearchBot y ChatGPT-User
OAI-SearchBot es el que usa ChatGPT para traer resultados de búsqueda en tiempo real: si se bloquea, la web deja de aparecer citada en esas respuestas, aunque pueda seguir mostrándose como enlace de navegación. Es un control independiente del de GPTBot, así que se puede permitir uno y bloquear el otro sin que entren en conflicto.
ChatGPT-User, en cambio, no es un rastreador programado: se activa cuando una persona le pide a ChatGPT que visite una página concreta, y por eso no sigue las reglas del robots.txt del mismo modo que el resto. PerplexityBot y Google-Extended separan igual el permiso de aparecer citado del permiso de entrenar con el contenido, cada uno con su propio nombre de user-agent.
Cuánto ancho de banda consume un rastreador de IA
El coste no es solo filosófico. Cloudflare mide la relación entre las veces que un bot rastrea una página y las visitas humanas que esa misma IA termina enviando de vuelta: en julio de 2025, Anthropic rastreaba 38.065 páginas por cada clic que devolvía, frente a las 1.091 de OpenAI y las 5,4 de Google. La proporción mejoró respecto a enero de ese año, cuando Anthropic llegaba a 286.930 rastreos por cada visita, pero sigue siendo, con diferencia, quien más pide y menos devuelve. Es un coste parecido, aunque de origen distinto, al que ya supone el tracking del lado del servidor para quien lo activa sin medir antes cuántas peticiones añade.
Catálogos industriales y tiendas online, los más rastreados
El impacto varía mucho según el tamaño del catálogo, y ahí es donde más se nota en sectores concretos. Un fabricante industrial con varios miles de fichas de producto, cada una con sus variantes y su documentación técnica, puede recibir decenas de miles de peticiones de GPTBot o ClaudeBot en una sola pasada de rastreo profundo. Una tienda online con filtros, paginación y variantes de color o talla multiplica las URLs rastreables por diez o por cien respecto a las páginas que un visitante real llega a ver.
Un despacho profesional o una clínica, con un sitio de pocas páginas, apenas lo nota en la factura de hosting; un catálogo B2B con miles de referencias sí puede acercarse al límite de peticiones que incluye su plan, y una academia o un centro de formación con cientos de fichas de curso está más cerca del segundo caso que del primero.
¿Te ayudamos con esto?
Cuéntanos tu caso
Si esto te afecta, escríbenos en dos líneas y te respondemos por email con una valoración concreta.
El robots.txt que separa entrenamiento de visibilidad
La decisión técnica se resuelve en un solo archivo, pero conviene escribirla con cabeza: bloquear todo de un plumazo saca también a los bots de búsqueda conversacional, y dejarlo todo abierto regala el contenido sin ninguna condición. El archivo se coloca en la raíz del dominio y cada bloque de reglas se aplica por user-agent, así que conviene tratar cada rastreador por separado en vez de copiar una plantilla genérica de otra web.
El robots.txt es un archivo de texto plano en la raíz del dominio que indica, bot por bot, qué partes de la web puede rastrear y cuáles no. No es una barrera técnica: un bot que lo ignore no encuentra ningún obstáculo real, solo incumple una norma que la mayoría de IA respetan por ahora.
Para separar entrenamiento de visibilidad, el bloque suele distinguir así:
- User-agent: GPTBot
Disallow: / - User-agent: ClaudeBot
Disallow: / - User-agent: CCBot
Disallow: / - User-agent: OAI-SearchBot
Allow: / - User-agent: PerplexityBot
Allow: /
Revisar estas reglas no es cosa de una vez: cada compañía añade rastreadores nuevos —Meta-ExternalAgent, Applebot-Extended— con cierta frecuencia, y el archivo que funcionaba hace seis meses puede llevar huecos. Es una de las comprobaciones que entran en una auditoría web junto con el resto de la configuración técnica del dominio.
Por qué el llms.txt no sustituye al robots.txt
El llms.txt es una propuesta de la comunidad, no un estándar que decida nadie con peso sobre el tráfico real: ni Google ni OpenAI ni Anthropic se han comprometido a leerlo ni a actuar según lo que diga. Es un archivo en markdown pensado para resumir el contenido de una web en un formato que un modelo pueda digerir sin rastrear toda la página, y en teoría ahorra parte de las peticiones del apartado anterior.
En la práctica, los análisis del sector más recientes encuentran el archivo en poco más de uno de cada diez dominios, año y medio después de que empezara a hablar de él, y quienes más lo publican son sitios de documentación técnica y herramientas para desarrolladores, no negocios locales ni tiendas. Publicarlo no sustituye al robots.txt: uno declara contenido, el otro da o quita permiso. Mantener ambos al día sin que se contradigan es una tarea que entra en el mantenimiento de WordPress habitual cuando la web usa ese gestor.
Qué cambia para una web sin Cloudflare por delante
El bloqueo por defecto que activó Cloudflare en julio de 2025 solo protege a quien pasa su tráfico por ahí, y eso es poco más de una quinta parte del tráfico mundial. El resto de las webs —la mayoría de los WordPress en hosting compartido o en un VPS gestionado sin ningún proxy delante— siguen con el robots.txt que trae la instalación por defecto, que casi nunca distingue un bot de IA de otro.
Si nadie ha tocado ese archivo desde que se instaló el WordPress, cualquier rastreador de entrenamiento entra sin ninguna restricción. Decidir qué permitir deja de ser una tarea de marketing y pasa a ser una decisión de infraestructura: cuánta capacidad tiene el plan de hosting, qué otros picos de tráfico soporta y si vale la pena mover ese control a un firewall de aplicación en lugar de confiar solo en un archivo de texto que algunos bots simplemente ignoran. Es la clase de decisión que conviene revisar en una consultoría de sistemas IT antes de que el pico de tráfico lo descubra el cliente por una web caída, no después.
Preguntas frecuentes sobre bots de IA
¿Bloquear GPTBot afecta a que ChatGPT cite mi web?
No. GPTBot y OAI-SearchBot son rastreadores distintos con permisos independientes: bloquear el primero solo impide que el contenido entrene los modelos de OpenAI, y permitir el segundo mantiene la web visible en las respuestas de búsqueda de ChatGPT. Se pueden combinar sin que un bloqueo afecte al otro.
¿Qué diferencia hay entre GPTBot y OAI-SearchBot?
GPTBot recoge contenido para entrenar los modelos generativos de OpenAI; OAI-SearchBot lo usa solo para generar resultados de búsqueda en tiempo real dentro de ChatGPT, sin guardarlo para entrenamiento. Son dos user-agents distintos en el robots.txt, con reglas que se configuran por separado según interese aparecer citado o no.
¿Mi WordPress ya bloquea los bots de IA por defecto?
No, salvo que lo haya configurado un plugin de seguridad o el proxy delante del hosting. El robots.txt que genera WordPress de serie solo controla el rastreo de buscadores tradicionales; los user-agents de IA hay que añadirlos a mano o con un plugin que los mantenga actualizados.
¿Tiene sentido publicar un archivo llms.txt?
No es la prioridad todavía: ningún buscador ni modelo mayor se ha comprometido a leerlo, y los pocos que lo publican son sobre todo documentación técnica para desarrolladores. Para la web de un negocio local, el robots.txt bien configurado pesa mucho más que un archivo que casi nadie procesa todavía.
Fuente: Cloudflare — The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals
