Tu web está cerrada para la IA y no lo sabes

Esta semana me tocó una de esas revisiones que parecen rutinarias y terminan enseñando algo. Estábamos preparando contenidos para DekorAI, un sitio WordPress en hosting compartido, y quise comprobar algo simple: si los asistentes de IA podían leer la web. No si la recomendaban. Solo si podían entrar.

La respuesta fue incómoda: a veces sí, a veces no.

Lo que encontramos

Hicimos pruebas desde el servidor simulando a los rastreadores y agentes de las principales IA: GPTBot y OAI-SearchBot de OpenAI, ClaudeBot de Anthropic, PerplexityBot, entre otros. En varias pruebas la página respondía normal. En otras, el sistema anti-bot del hosting (Imunify360, con su módulo WebShield) devolvía una página de desafío en vez del contenido, del tipo "espera mientras verificamos tu solicitud". Además aparecían respuestas 429, que significan "demasiadas solicitudes".

Ojo: no era un bloqueo total ni permanente. Era intermitente. Y eso es justamente lo peligroso, porque nadie se entera. Tú entras a tu web y la ves perfecta. El dueño del hosting también. Pero un agente que llega en el momento equivocado se encuentra con una pared, y se va a buscar la respuesta a otra parte.

Le escribimos al hosting. Su respuesta fue razonable: los rastreadores verificados, que llegan desde las IP publicadas por cada empresa, no deberían ser desafiados, y además eliminaron los límites de 429 para nuestro sitio. Es coherente con la documentación de Imunify360, que dice que su protección anti-bot no bloquea a los bots legítimos y que valida a los rastreadores por su agente de usuario y por listas de IP conocidas. Mi lectura: las pruebas simuladas desde otras IP no prueban que el bot real esté bloqueado, pero sí muestran que hay una capa de seguridad entre tu contenido y la IA que nadie estaba mirando.

Por qué esto importa

Los sistemas anti-bot existen por buenas razones: frenan ataques, spam y scrapers que se comen los recursos del servidor. El problema es que fueron diseñados para un mundo con dos tipos de visitantes: humanos y buscadores. Hoy hay un tercero: los agentes de IA. Y no todos son iguales.

OpenAI, por ejemplo, separa tres usos: GPTBot rastrea contenido que puede usarse para entrenar modelos, OAI-SearchBot decide qué sitios aparecen en las búsquedas de ChatGPT, y ChatGPT-User visita una página cuando una persona le pide algo en la conversación. OpenAI advierte que un sitio que bloquea a OAI-SearchBot no aparecerá en las respuestas de búsqueda de ChatGPT. Anthropic hace una separación parecida con ClaudeBot, Claude-SearchBot y Claude-User, y Perplexity con PerplexityBot y Perplexity-User. Perplexity incluso publica instrucciones para que los firewalls dejen pasar a sus bots combinando agente de usuario e IP.

Traducido: puedes decidir no entregar tu contenido para entrenamiento y aun así querer aparecer en las respuestas. Pero esa decisión la tienes que tomar tú, no un filtro automático que nadie configuró pensando en esto. Si quieres entender el fondo de por qué esto importa, lo escribí en Tu próximo turista no te va a encontrar en Instagram y en el concepto de GEO, optimización para motores generativos.

El segundo hallazgo: las imágenes que nadie veía

Mientras revisábamos, apareció otro problema. Al compartir un artículo de DekorAI en WhatsApp, Facebook o LinkedIn, la vista previa salía sin imagen, o con una imagen que no correspondía.

La causa: el sitio convertía sus imágenes a AVIF, un formato moderno y liviano, excelente para que la web cargue rápido. El problema es que la etiqueta og:image, la que le dice a las redes qué imagen mostrar al compartir un enlace, también apuntaba al AVIF. Y muchas plataformas no lo muestran en sus vistas previas. La documentación de Facebook menciona como tipos de imagen JPEG, GIF y PNG; LinkedIn pide JPG, PNG o GIF. Puede que alguna plataforma lea AVIF en algún caso, pero no está garantizado, y una vista previa sin imagen pierde buena parte de los clics.

La solución es simple: AVIF para la página, JPG o PNG para la vista previa.

Y había dos detalles más:

• Etiquetas duplicadas. El sitio tenía dos og:image distintas en la misma página, generadas por plugins diferentes. Cada red elegía la que quería.
• Idioma cruzado. En las versiones traducidas, la vista previa mostraba la imagen de otro idioma, con texto que no correspondía al lector.

Nada de esto se ve navegando la web. Todo se ve cuando una máquina la lee.

La lección para cualquier pyme

Tu web ya no la leen solo personas. La leen buscadores, redes sociales que arman vistas previas y, cada vez más, asistentes de IA que deciden si te nombran o no. Cada una de esas máquinas tiene sus propias reglas, y entre tu contenido y ellas hay capas que rara vez se revisan: el hosting, el firewall, los plugins, el CDN.

No hace falta ser técnico para revisar lo básico. Hace falta saber dónde mirar.

Checklist: 5 cosas que puedes revisar en 10 minutos

1. Tu robots.txt y los agentes de IA. Abre tudominio.com/robots.txt. Busca si aparecen GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot o Google-Extended con Disallow: /. Si están bloqueados, que sea una decisión consciente. Recuerda que bloquear el bot de entrenamiento no es lo mismo que bloquear el de búsqueda.
2. Tu anti-bot, WAF o Cloudflare. Pregúntale a tu hosting o a quien administra tu web si hay protección anti-bot (Imunify360, Cloudflare, Wordfence u otra) y si deja pasar a los rastreadores verificados de IA. En Cloudflare, revisa la configuración de bots y de rastreadores de IA. Pide que te confirmen por escrito que no hay límites de solicitudes que afecten a bots legítimos.
3. Tu imagen para compartir. Pega la URL de un artículo en el Sharing Debugger de Facebook y en el Post Inspector de LinkedIn. Verifica que haya una sola og:image, en JPG o PNG, de unos 1200 × 630 píxeles, y que corresponda al idioma de la página.
4. Tus datos estructurados. Pasa tu página por la Prueba de resultados enriquecidos de Google. Lo mínimo: que tu negocio, tus artículos o tus productos estén descritos en JSON-LD con schema.org, y que coincidan con lo que se ve en la página.
5. Tu contenido sin JavaScript. Abre tu web y mira el código fuente (Ctrl+U). Si lo importante (qué haces, precios, horarios, contacto) no aparece en ese texto, muchos rastreadores tampoco lo ven. Un archivo llms.txt es opcional: algunos lo usan como mapa para IA, pero Google dice que no lo necesita para sus funciones de IA. Primero, que el texto esté.

Abrir la puerta, con criterio

No se trata de abrirle todo a todos. Se trata de que la puerta la cierres o la abras tú, sabiendo a quién. En DekorAI bastó un correo al hosting y algunos ajustes de plugins. En tu caso puede ser lo mismo. Lo que no conviene es descubrirlo cuando un cliente te pregunta por qué ChatGPT no sabe que existes.