Los crawlers de IA no ejecutan JavaScript: por qué no te leen
Los crawlers que alimentan a ChatGPT, Claude y Perplexity no ejecutan JavaScript. Si tu web se renderiza en el cliente, para ellos estás en blanco.
LeerOpenAI tiene 3 crawlers distintos: GPTBot (training), OAI-SearchBot (retrieval ChatGPT search) y ChatGPT-User (acciones del usuario). Bloquear el equivocado te excluye de las respuestas de ChatGPT sin que ganes nada a cambio. Te explico cuál bloquear, cuál permitir y por qué.
OpenAI opera 3 crawlers diferentes con propósitos distintos y robots.txt controls independientes — GPTBot (entrenamiento de modelos), OAI-SearchBot (retrieval real-time para ChatGPT search) y ChatGPT-User (fetch on-demand cuando el usuario pide acciones). La decisión correcta para una PYME B2B en 2026: permitir OAI-SearchBot y ChatGPT-User (te hacen visible en ChatGPT) y decidir GPTBot según política sobre training. Bloquear los tres juntos por desinformación es el error más común y caro que vemos en audits.
OpenAI publica documentación oficial en developers.openai.com/api/docs/bots desde finales de 2024 separando claramente los tres User-Agents. Aquí lo relevante para tu PYME B2B:
| User-Agent | GPTBot |
|---|---|
| Propósito | Recolectar contenido público para entrenamiento de modelos GPT |
| Frecuencia crawl | Periódica (no diaria) — entrena modelos en ciclos de meses |
| Si lo bloqueas | OpenAI no usa tu contenido para training. NO afecta visibilidad en ChatGPT search. |
| Documentación oficial | developers.openai.com/api/docs/bots |
| User-Agent | OAI-SearchBot |
|---|---|
| Propósito | Indexar y recuperar contenido en tiempo real para responder en ChatGPT con web search activada |
| Frecuencia crawl | Frecuente y dirigida — necesita mantener índices actualizados |
| Si lo bloqueas | Desapareces de las respuestas ChatGPT search. El modelo no puede citarte ni siquiera con tu contenido en su corpus base. |
| Documentación oficial | Same overview |
| User-Agent | ChatGPT-User |
|---|---|
| Propósito | Cuando un usuario pide directamente a ChatGPT que visite una URL o realice una acción (ej: "lee esta página", "resume este link"), ChatGPT envía este crawler |
| Frecuencia crawl | Bajo demanda del usuario, no programada |
| Si lo bloqueas | El usuario que pide a ChatGPT analizar tu URL recibe error. Pierdes oportunidad de ser fuente directa de respuesta. |
El patrón que vemos en audits de PYME B2B españolas: robots.txt con un bloque masivo:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Razón típica que dan: "para que la IA no nos copie el contenido". Lo que realmente consiguen: desaparecer de ChatGPT search. Cuando un comprador B2B pregunta a ChatGPT "¿quién hace [tu servicio] en España?", tu empresa no puede aparecer porque OAI-SearchBot está bloqueado. Tus competidores que dejaron OAI-SearchBot abierto aparecen y ganan ese lead.
Es la misma confusión que en 2018 mucha gente bloqueaba googlebot "para que Google no rastreara información sensible" — y se preguntaba después por qué no rankeaban. Los User-Agents tienen propósitos específicos; no son una entidad monolítica.
Si tu objetivo es maximizar visibilidad en ChatGPT (parte significativa del descubrimiento B2B en 2026), la configuración correcta es:
# Permitir retrieval real-time para que ChatGPT cite tu site
User-agent: OAI-SearchBot
Allow: /
# Permitir fetch on-demand cuando un usuario pide analizar tu URL
User-agent: ChatGPT-User
Allow: /
# Decisión política sobre training — depende de tu postura
# Opción A: permitir training (tu contenido educa el modelo base)
User-agent: GPTBot
Allow: /
# Opción B: bloquear training pero permitir search (postura más restrictiva)
# User-agent: GPTBot
# Disallow: /
La decisión Opción A vs Opción B depende de tu postura sobre licensing y contenido propietario. Para PYME B2B típica en España: Opción A es razonable. Tu contenido público ya está en Google y en miles de sites cacheados; el incremento marginal de bloquear GPTBot es bajo y el coste (que el modelo base no te conozca cuando el corpus se actualiza) es alto.
OAI-SearchBot no es el único crawler IA que importa para B2B en 2026. La política completa "Tier 1+2 ALLOW" que recomendamos para PYME B2B incluye estos User-Agents permitidos:
| User-Agent | Operador | Para qué |
|---|---|---|
GPTBot | OpenAI | Training modelos GPT |
OAI-SearchBot | OpenAI | ChatGPT search retrieval |
ChatGPT-User | OpenAI | Fetch on-demand del usuario |
ClaudeBot | Anthropic | Crawling para Claude |
anthropic-ai | Anthropic | Variante histórica |
PerplexityBot | Perplexity | Crawling para Perplexity |
Google-Extended | Training Gemini + Bard | |
GoogleOther | Crawls misceláneos Google | |
Applebot-Extended | Apple | Training Apple Intelligence |
Amazonbot | Amazon | Alexa + AI products |
FacebookBot | Meta | Meta AI training |
CCBot | Common Crawl | Dataset usado por múltiples LLMs |
cohere-ai | Cohere | Crawling para modelos Cohere |
El razonamiento: cada uno de estos User-Agents corresponde a un motor que puede citar tu site en respuesta a queries B2B reales. Bloquearlos sin distinguir uno por uno te excluye de superficies de descubrimiento que existen.
Hay un User-Agent que sí recomendamos bloquear por defecto en PYME B2B española:
User-agent: Bytespider
Disallow: /
Bytespider es el crawler de ByteDance (TikTok / Doubao). Razones del bloqueo: (1) volume de crawl agresivo documentado que consume CPU servidor sin valor de retorno claro, (2) ausencia de respuesta clara a opt-out previo, (3) ningún caso de uso B2B español donde aparecer en superficies ByteDance compense el coste de servidor. Recheck en 12 meses por si cambia el contexto.
robots.txt está bien configuradoTres validaciones rápidas que puedes hacer hoy:
Visita https://tudominio.com/robots.txt en navegador. Si ves Disallow: / sin user-agent específico encima, todos los bots están bloqueados a todo el site. Crisis inmediata.
En Google Search Console hay un robots.txt tester. Mete user-agents específicos (Googlebot, GPTBot, etc) contra URLs concretas y comprueba allow/disallow.
Desde terminal:
curl -A "OAI-SearchBot" https://tudominio.com/blog/algun-post -I
curl -A "PerplexityBot" https://tudominio.com -I
curl -A "GPTBot" https://tudominio.com/contact -I
Si devuelven 200 OK + headers normales, los crawlers pueden acceder. Si devuelven 403 o redirige a página de bot challenge (Cloudflare), están bloqueados a nivel WAF — distinto a robots.txt y más restrictivo.
Una capa adicional que mucha PYME B2B no audita: las soluciones de WAF como Cloudflare, Akamai, Sucuri pueden estar bloqueando crawlers IA a nivel red antes de que el robots.txt sea siquiera consultado.
Casos vistos en audits PYME B2B España 2026:
Fix: en Cloudflare, ir a Security → Bots → "Verified Bots" y verificar que los User-Agents IA principales están en allowlist explícita. Hacer fetch tests cross-User-Agent semanalmente como parte del monitoreo SEO técnico.
Cliente real (anonimizado). PYME SaaS B2B, €3M ARR, sector HR-tech. Audit inicial Citora mayo 2026.
Punto de partida:
Disallow: /Cambios ejecutados en 1 sesión técnica (2h):
Resultado tras 6 semanas (re-audit mismo set queries):
El "fix" más caro que estaba haciendo este cliente no era falta de contenido — era estar invisible a los crawlers por bloqueo defensivo equivocado. 2 horas técnicas, +19 puntos visibility en 6 semanas. ROI infinito.
No directamente. OAI-SearchBot está separado de GPTBot. OAI-SearchBot indexa para retrieval real-time en ChatGPT search; GPTBot recolecta datos para training del modelo base. Puedes permitir uno y bloquear el otro independientemente en robots.txt. Si tu preocupación es training pero quieres aparecer en ChatGPT search: permite OAI-SearchBot + bloquea GPTBot.
No. GPTBot es independiente de Googlebot. Bloquear GPTBot no afecta Google Search rankings. Si quieres también bloquear training Google: el User-Agent es Google-Extended, también independiente de Googlebot.
SearchGPT fue el nombre temprano del proyecto. La feature está integrada hoy en ChatGPT directamente como "search" toggle dentro de la interfaz. OAI-SearchBot es el crawler que alimenta esa feature. No son cosas distintas — son capas del mismo producto.
Permitir crawl de páginas públicas (home, about, blog, contenido demo gratuito) y bloquear las páginas detrás de paywall. Modelo "two-tier delivery" emergente en publishers (The Economist, FT) y aplicable a PYME B2B con whitepapers gated: versión completa gated para usuario + versión abreviada / abstract público accesible a crawlers IA.
Casos limitados específicos: (1) contenido propietario crítico no público (documentación interna que se sirve por error en URLs públicas — pero la fix es no servirla, no bloquear crawlers), (2) sites con dataset original que se monetiza por licensing exclusivo (en cuyo caso bloquear training pero permitir search puede tener sentido), (3) decisión estratégica de marca antiAI (raros casos justificados). Para 99% de PYME B2B en España la respuesta es: permitir crawlers, no bloquear.
Si nunca has auditado tu robots.txt o tu WAF contra crawlers IA, es muy probable que tengas alguna configuración bloqueando descubrimiento sin que lo sepas. El audit gratuito de citora.es/audit revisa tu robots.txt: qué crawlers IA permite y cuáles bloquea. Lo que bloquea tu WAF y lo que de verdad rastrean los bots solo se ve en tus logs.
Si quieres ejecutar el rediseño técnico completo (robots.txt + WAF + schema + entidad + contenido answer-first) en Citora es el Plan de 90 días: 3.000 € + IVA en tres pagos, con la medición de cada mes. No prometemos que el modelo te nombre.
Si quieres profundizar en piezas relacionadas con este tema: Comparativa B2B 4 LLMs (ChatGPT, Gemini, Claude, Perplexity), Cómo funcionan ChatGPT y Perplexity por dentro (demanda Reddit), OpenAI quema dinero: por qué diversificar multi-LLM.
Descubre tu Visibility Score en 2 minutos. Gratuito, sin tarjeta.
Hacer mi audit gratis¿Prefieres ir al grano? Servicios y precios · GEO para tu sector · Hablar con Raúl
Los crawlers que alimentan a ChatGPT, Claude y Perplexity no ejecutan JavaScript. Si tu web se renderiza en el cliente, para ellos estás en blanco.
LeerGartner ya tiene una Market Guide para la visibilidad en motores de respuesta como ChatGPT y Perplexity. Qué cambia para tu presupuesto B2B, y qué no.
LeerEn Google competías por 10 sitios en la página 1. En la búsqueda con IA solo hay unos 3, y el 62% ni vienen del top 10. Así se gana la visibilidad B2B.
Leer