Usuarios reportan que activar el bloqueo de bots de IA en Cloudflare podría estar impidiendo el acceso legítimo de Googlebot y Bingbot a sitemaps, generando errores HTTP 403.
Algunos usuarios han reportado que activar la función de bloqueo de bots de entrenamiento de IA en Cloudflare podría estar impidiendo el acceso legítimo de Googlebot y Bingbot a sitemaps, generando errores HTTP 403.
Posible bloqueo simultáneo de Googlebot y Bingbot
Algunos usuarios han reportado que activar la función de bloqueo de bots de entrenamiento de IA en Cloudflare podría estar impidiendo el acceso legítimo de Googlebot y Bingbot a sitios web, generando errores HTTP 403 al intentar acceder a sitemaps. Según un usuario de Reddit, «cuando configuro AI Training = Block, tanto Googlebot como Bingbot comienzan a recibir respuestas HTTP 403 al intentar obtener mi mapa del sitio». El problema parece revertirse al desactivar el bloqueo.
Cloudflare clasifica oficialmente a estos bots de búsqueda como de «Búsqueda + Entrenamiento», lo que podría explicar el efecto colateral. Como señaló otro usuario, «esto me deja con un dilema: permitir el entrenamiento de IA para que los motores de búsqueda accedan a mi mapa del sitio o bloquearlo y arriesgar que Google/Bing reciban 403s».
La configuración podría afectar acceso a sitemaps
El dashboard de Cloudflare muestra explícitamente a estos motores de búsqueda como «bloqueados automáticamente» en la sección de AI Crawlers, lo que sugiere una posible clasificación errónea como bots de «Búsqueda + Entrenamiento». Además, al activar Bot Fight Mode, la carga del sitemap también devuelve un error 403, que desaparece al desactivar esta función.
John Mueller, de Google —empresa que compite en esta categoría—, solicitó detalles vía DM para investigar el caso, mientras el usuario descartó spoofing al verificar los bloqueos directamente en la interfaz oficial.
Bloqueo programado para septiembre 2026 pero ocurriendo en agosto 2026
Cloudflare había anunciado que a partir del 15 de septiembre de 2026 bloqueará por defecto los bots de uso mixto (búsqueda + entrenamiento de IA) en nuevas configuraciones, aunque los clientes pueden optar por no aplicar estos ajustes antes de esa fecha. Sin embargo, los reportes sugieren que el problema ya ocurre en algunos casos, planteando un dilema entre permitir el scraping de IA o arriesgar la indexación en buscadores.
Este incidente anticipa posibles conflictos en la configuración actual y sirve como recordatorio para ajustar configuraciones antes del cambio oficial. Según la recomendación explícita del artículo, es importante «estar conscientes del cambio pendiente y ajustar las configuraciones en consecuencia».
El dilema técnico y las recomendaciones
La implementación de Cloudflare para bloquear crawlers de IA parece estar generando un problema colateral inesperado: también podría estar impidiendo el acceso de Googlebot y Bingbot a los sitemaps. Esto deja a los webmasters ante una disyuntiva: permitir el scraping de IA para mantener la indexación o bloquearlo arriesgando errores en los motores de búsqueda.
Hasta ahora, no se ha documentado una solución alternativa limpia para este conflicto. Los usuarios deben verificar el acceso de Googlebot y Bingbot tras realizar cambios en la configuración de Cloudflare para evitar impactos negativos en el SEO.
