Hay un error de visibilidad IA que cuesta más que cualquier otro precisamente porque es invisible: bloquear a los bots de IA sin saberlo. Marcas que invierten meses creando contenido "optimizado para IA" mientras GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended o PerplexityBot tienen el acceso prohibido en su robots.txt — a veces por una configuración por defecto del CMS, a veces heredado de una plantilla, a veces porque alguien quiso "proteger el contenido del scraping IA" sin medir la consecuencia. El resultado es demoledor en su simplicidad: si los bots de IA no pueden rastrear tu sitio, no apareces en sus respuestas, por excelente que sea tu contenido. Antes de optimizar para la IA, asegúrate de que la IA puede llegar a ti. Para PYME B2B es el primer check, el más barato, y el que casi nadie hace.
Actualizado: septiembre 2026 — añadido un benchmark empírico de 11.500 consultas (arXiv) que mide el coste de bloquear el crawler de IA, con la fuente primaria enlazada.
El error en una frase
Estás trabajando para aparecer en ChatGPT, Perplexity y Google AI Overviews. Has escrito buen contenido, con datos, bien estructurado. Pero tu robots.txt — el archivo que dice a los rastreadores qué pueden y qué no pueden leer — tiene una línea que bloquea a los crawlers de IA. El modelo nunca llega a tu contenido. Es como montar la mejor tienda del mundo y tapiar la puerta.
Por qué pasa más de lo que crees
No es un error de tontos. Hay tres caminos habituales hacia este bloqueo silencioso:
- Default del CMS o plugin: algunos plugins de "privacidad" o "anti-IA" añaden reglas de bloqueo a los bots de IA por defecto, presentándolo como "protección de tu contenido". El owner activa el plugin sin leer la letra pequeña.
- Plantilla heredada: copiaste un robots.txt de otro proyecto o de un tutorial de 2024 que recomendaba bloquear GPTBot "por si acaso". La regla se quedó.
- Decisión defensiva de 2023-2024: cuando OpenAI publicó cómo bloquear GPTBot, mucha gente lo hizo por miedo al scraping — antes de que aparecer EN las respuestas IA fuera un canal de adquisición. La decisión tenía sentido entonces; hoy te deja fuera del mapa.
El problema es que nadie revisa el robots.txt salvo cuando algo va mal — y este fallo no "rompe" nada visible. Simplemente no apareces, y lo atribuyes a que "el GEO no funciona".
La evidencia: un estudio de 11.500 consultas mide el coste
Durante mucho tiempo esto se explicaba como lógica: si el bot no entra, no te cita. Ahora está medido. Un estudio empírico sobre Google Search, Gemini y AI Overviews (benchmark público de 11.500 consultas reales, abril de 2026) lo confirma con datos: las webs que bloquean el crawler de IA de Google se citan en AI Overviews muy por debajo de las que no lo bloquean, aunque el contenido esté disponible. El bloqueo, no la calidad, decide.
El mismo estudio deja dos datos que conviene tener en la cabeza:
- La IA lee una web distinta de la que rankea el buscador. Las fuentes que cita AI Overviews y las que rankea la búsqueda tradicional apenas se solapan (similitud de Jaccard <0,2). No es "el mismo Google con un resumen encima": es un sistema de recuperación aparte, con su propia lista de fuentes. Estar en uno no te mete en el otro.
- AI Overviews aparece en el 51,5% de las consultas reales, por encima de los resultados orgánicos. La mitad de las veces que tu comprador busca, lo primero que ve es una respuesta de la IA — y ahí solo entras si el crawler pudo leerte.
Traducido a negocio: bloquear el crawler de IA no "protege" nada que te dé ingresos; te borra de la mitad de las respuestas que ve tu comprador. Y como la lista de fuentes de la IA no es la de Google, ni siquiera un buen ranking orgánico te cubre ese hueco.
Los bots de IA que importan en 2026
| Bot | Quién | Para qué |
|---|
GPTBot | OpenAI | Entrenamiento + contexto de ChatGPT |
OAI-SearchBot | OpenAI | Búsqueda en ChatGPT (citaciones en vivo) |
ChatGPT-User | OpenAI | Navegación cuando un usuario pide algo concreto |
ClaudeBot / Claude-Web | Anthropic | Entrenamiento + contexto de Claude |
Google-Extended | Google | Gemini + AI Overviews (separado del Googlebot normal) |
PerplexityBot | Perplexity | Índice y citaciones de Perplexity |
Matiz importante con Google-Extended: es independiente del Googlebot clásico. Puedes estar perfectamente indexado en Google Search y a la vez bloqueado para Gemini/AI Overviews si tienes Google-Extended en disallow. Mucha gente no sabe que son dos cosas distintas.
Cómo comprobarlo en 5 minutos
- Abre
https://tudominio.com/robots.txt en el navegador.
- Busca (Ctrl+F) cada uno de estos:
GPTBot, ClaudeBot, Google-Extended, PerplexityBot, OAI-SearchBot.
- Si alguno aparece seguido de
Disallow: / → lo estás bloqueando. Para visibilidad IA, eso es el freno de mano puesto.
- Revisa también un
User-agent: * con Disallow: / amplio que pueda afectar a todos.
- Verifica que no haya un bloqueo a nivel de servidor/firewall (Cloudflare, por ejemplo, tiene un toggle "Block AI bots" que mucha gente activó sin pensarlo).
Si encuentras bloqueos y tu objetivo es aparecer en respuestas IA, la decisión es clara: permite el acceso a los bots de IA cuyas plataformas te interesan (en B2B: como mínimo OpenAI/ChatGPT y Anthropic/Claude, que concentran la mayoría del uso).
El matiz: ¿y la protección de contenido?
La objeción legítima: "¿no quiero que la IA se entrene gratis con mi contenido?" Es un trade-off real, pero hay que verlo con datos de 2026, no de 2023:
- Aparecer citado en respuestas IA es ya un canal de adquisición, no solo "te copian". La cita lleva tu marca al comprador en el momento de decisión.
- Puedes separar: permitir los bots de búsqueda/citación (OAI-SearchBot, PerplexityBot) que te traen visibilidad, y ser más selectivo con los de entrenamiento (GPTBot, ClaudeBot) si te preocupa.
- Para PYME B2B que vende, la visibilidad casi siempre vale más que la "protección" del contenido. No eres un medio que vive de pageviews; eres una empresa que quiere estar en el shortlist.
Conecta con el resto de tu visibilidad IA
Este check es el cimiento. No tiene sentido trabajar information gain, entidad o consenso digital si el bot no puede ni entrar. Es el paso 0, antes que cualquier optimización de contenido. Una vez confirmado el acceso, el trabajo real (ser citable) empieza — ver nuestro post cómo eligen los LLMs a quién citar.
Preguntas frecuentes
¿Bloquear GPTBot afecta a mi ranking en Google normal?
No directamente — GPTBot es de OpenAI, no de Google. Pero Google-Extended (que sí es de Google) controla tu presencia en Gemini y AI Overviews sin afectar al Googlebot clásico. Puedes estar bien en Google Search y fuera de AI Overviews a la vez. Son crawlers distintos.
¿Cómo permito los bots de IA en robots.txt?
Asegúrate de que no haya reglas Disallow: / para esos user-agents. Si quieres ser explícito, puedes añadir User-agent: GPTBot + Allow: / (y equivalentes). Lo más común es simplemente eliminar las reglas de bloqueo heredadas. Verifica también el firewall/CDN.
¿Y si uso Cloudflare?
Cloudflare tiene una opción "Block AI Scrapers and Crawlers" que muchos activaron. Revisa en tu panel Cloudflare (Security → Bots) si está activa. Bloquea a nivel de red, así que tu robots.txt puede estar perfecto y aun así los bots no entran. Es un punto ciego muy común.
¿Bloquear el entrenamiento pero permitir la citación es posible?
Parcialmente. OpenAI distingue GPTBot (entrenamiento) de OAI-SearchBot y ChatGPT-User (búsqueda/navegación). Puedes permitir los de búsqueda y restringir el de entrenamiento. No todos los proveedores separan tan limpio, pero la tendencia es a hacerlo.
¿Cada cuánto debo revisar el robots.txt?
Cada vez que cambies de CMS, instales un plugin de seguridad/privacidad, o migres de servidor. Y una revisión preventiva trimestral. Los bloqueos se cuelan en actualizaciones sin que nadie lo note.
¿Esto explica por qué "no aparezco en ChatGPT" pese a buen contenido?
Puede ser una de las causas, y es la primera que hay que descartar porque es binaria: si estás bloqueado, nada de lo demás importa. Si el acceso está abierto y aun así no apareces, entonces el problema es de autoridad/entidad/contenido — otra conversación.
¿Hay algún estudio que demuestre que bloquear el crawler baja mis citas?
Sí. Un benchmark de 11.500 consultas sobre Google, Gemini y AI Overviews (abril de 2026) midió que las webs que bloquean el crawler de IA de Google se citan en AI Overviews muy por debajo de las que no lo bloquean, con el contenido igual de disponible. Deja de ser una hipótesis: está medido.
Siguiente paso
Antes de invertir un euro en contenido "para la IA", confirma que la IA puede rastrearte. El audit gratuito de Citora incluye el check de accesibilidad de bots de IA + mide tu Citation Rate real cross-4-motores. 2 minutos.
Lecturas relacionadas
Si quieres profundizar: Cómo eligen los LLMs a quién citar, Google y el llms.txt oficial, Cómo aparecer en ChatGPT.