Cloudflare lanza mercado para cobrar a bots de IA por rastrear webs

El sistema «Pay per Crawl» permite a editores fijar tarifas por acceso a su contenido. La plataforma, en fase beta privada, busca equilibrar la relación entre creadores y empresas de inteligencia artificial. Se anuncia cuando el tráfico de buscadores tradicionales decae.

«Un interruptor para controlar el acceso de los robots»

Cloudflare, proveedor de infraestructura para el 20% de la web, lanzó este martes un mercado donde los propietarios de sitios pueden elegir entre bloquear bots, permitir rastreos gratuitos o cobrar por cada acceso. «Es un enfoque basado en permisos», explicó el CEO Matthew Prince. Grandes editoriales como TIME y The Atlantic ya bloquean crawlers por defecto.

Micropagos por cada visita automatizada

El sistema funciona con tarifas personalizables por «crawl», donde Cloudflare actúa como intermediario en los pagos. Los editores ven qué bots acceden a su contenido y con qué propósito (entrenamiento de IA o respuestas en chatbots). No utiliza criptomonedas, según confirmó la compañía.

El desequilibrio del scraping actual

Datos de Cloudflare revelan que los crawlers de OpenAI y Anthropic realizan hasta 73.000 rastreos por cada referencia generada, frente a 14 de Google. Esto reduce el tráfico a las webs, afectando a editores que dependen de ingresos por publicidad.

Editores en busca de un nuevo modelo

El declive del tráfico orgánico y el auge de los chatbots obligan a los medios a replantear su negocio. Algunos, como The New York Times, han demandado a tecnológicas; otros firman acuerdos de licencia. Cloudflare propone un sistema escalable para todos los tamaños de editoriales.

Cuando los algoritmos eran invitados gratis

Durante años, los editores permitieron el rastreo de buscadores tradicionales a cambio de tráfico referido. La irrupción de la IA ha roto ese equilibrio, con crawlers que consumen contenido sin generar visitas equivalentes. Las herramientas de Cloudflare surgieron en 2024 como respuesta a este problema.

Un experimento con futuro incierto

El éxito del mercado dependerá de que más empresas de IA acepten pagar por contenido que hoy obtienen gratis. Cloudflare aspira a convertirse en el intermediario clave en una era donde los agentes de IA podrían acceder a webs con presupuestos programables.