Cloudflare bloquea por defecto los rastreadores de IA
La empresa impide el scraping no autorizado e introduce un programa de pago por acceso. La medida afecta a más de un millón de sitios web y busca proteger el contenido de editores y medios.
«El free-for-all del scraping llega a su fin»
Cloudflare, compañía de infraestructura web, activa por defecto el bloqueo de rastreadores de IA desde el 1 de julio de 2025. La medida responde al aumento de bots que imitan ataques DDoS y ignoran protocolos como robots.txt. Danielle Coffey, de la News Media Alliance, afirma: «Llevamos meses intentando protegernos».
Herramientas y alcance
La empresa usa análisis de comportamiento y aprendizaje automático para identificar incluso rastreadores «ocultos». Según Will Allen, responsable de privacidad de Cloudflare, más de un millón de clientes ya usaban sus herramientas anteriores. Ahora, el bloqueo se extiende a todos sus usuarios.
Pay Per Crawl: ¿solución o batalla pendiente?
El nuevo programa permite cobrar a las empresas de IA por acceder a contenidos. La startup ProRata (creadora de Gist.AI) ya participa, según su CEO Bill Gross. Sin embargo, se desconoce si gigantes como OpenAI se unirán, pese a tener acuerdos confidenciales con editoriales.
El desafío de la evasión
Existen tutoriales para sortear los bloqueos de Cloudflare, y un informe de Tollbit revela que 26 millones de scraping ignoraron robots.txt solo en marzo de 2025. Nicholas Thompson, CEO de The Atlantic, cree que la medida «cambiará la dinámica de poder» al forzar negociaciones.
De la tolerancia al control
El scraping web existe desde hace décadas (Google, Internet Archive), pero el auge de la IA multiplicó bots agresivos. Medios como los representados por la News Media Alliance exigen compensación, mientras las tecnológicas disputan el acceso a datos sin restricciones.
Un internet con más candados
Cloudflare da a los editores herramientas para decidir quién accede a su contenido, pero la efectividad dependerá de la adopción y la adaptación de los actores. El programa Pay Per Crawl podría marcar un precedente en la monetización del scraping, aunque su impacto real aún está por verse.
