Pay per crawl da Cloudflare: modelo que permite cobrar por rastreamento de IA

A +A −

A Cloudflare, empresa responsável por gerenciar DNS de cerca de 20% de todas as páginas da web, anunciou que agora está bloqueando rastreadores de IA por padrão. Além disso, está oferecendo um novo modelo que permite que serviços de IA paguem aos criadores de conteúdo para rastrear seu conteúdo, chamado Pay Per Crawl.

Esse recurso busca resolver um dilema atual dos donos de sites, que normalmente têm apenas duas opções. Permitir o acesso irrestrito aos rastreadores (deixando o conteúdo ser usado livremente) ou bloquear completamente esse tráfego (o que protege o conteúdo, mas reduz a exposição online).

A proposta da Cloudflare oferece uma solução intermediária, permitir acesso pago a partes específicas do site ou ao domínio inteiro. Ainda em fase beta, o sistema está sendo testado por grupos limitados, mas deve ser lançado em larga escala se os resultados forem positivos — algo relevante considerando que a Cloudflare atende aproximadamente 20% dos sites da internet.

A seguir, veja como a solução funciona, quais os impactos no SEO e como decidir se vale a pena adotar.

O que é o pay per crawl?

O pay per crawl é um sistema no qual os rastreadores de IA precisam pagar para acessar determinadas páginas. O modelo é inspirado no conceito de pay per view: em vez de “pagar para ver”, é “pagar para rastrear”.

Em essência:

• O proprietário do site recebe uma quantia sempre que um rastreador autorizado acessa uma página coberta pelo sistema.
• Se o pagamento não ocorrer, o rastreador encontra um erro semelhante ao famoso 404 — impedindo o uso do conteúdo na IA.

A Cloudflare afirma que o objetivo é devolver aos criadores o controle sobre quem pode usar seu trabalho e em quais condições. Quer dar acesso gratuito? Pode. Quer bloquear completamente? Também pode. Mas quem quiser acesso pago precisa acertar as condições antes.

Por que surgiu essa ideia?

Tradicionalmente, os mecanismos de busca faziam um “acordo implícito”, rastreavam seu site de graça, mas em troca geravam tráfego ao exibi-lo nos resultados. Esse modelo se desequilibrou com o avanço das IAs generativas.

Hoje, ferramentas de IA rastreiam conteúdo, resumem ou transformam as informações em respostas prontas — e muitas vezes eliminam a necessidade de o usuário visitar o site original. Isso significa menos tráfego e menos receita para quem cria conteúdo, gerando um conflito com as grandes empresas de tecnologia.

A Cloudflare identificou essa lacuna e pretende oferecer aos criadores uma forma de monetizar o uso de seus dados por IA.

Como os rastreadores operam

Em linhas gerais, rastreadores ou crawlers são programas automáticos que:

1. Acessam uma URL.
2. Fazem a requisição para carregar a página.
3. Processam o HTML retornado.
4. Descobrem outras URLs, via links internos ou sitemaps.

Esses robôs varrem milhões de páginas para alimentar mecanismos de busca ou modelos de IA, que depois usam essas informações para montar índices ou gerar respostas.

O funcionamento técnico do pay per crawl

O sistema criado pela Cloudflare utiliza códigos HTTP padronizados para negociar o acesso. O fluxo básico é este:

• Um rastreador tenta acessar uma página protegida.
• O servidor responde com status HTTP 402 (Payment Required) e indica o valor necessário.
• Para prosseguir, o rastreador precisa refazer a requisição, incluindo um cabeçalho específico (crawler-exact-price) com o pagamento.
• Se o pagamento for aceito, o servidor devolve o conteúdo com status HTTP 200.
• O usuário humano, por sua vez, acessa a página normalmente, sem pagar nada.

Essa mecânica só se aplica a rastreadores de IA, pessoas continuam navegando livremente.

Como vai funcionar a cobrança por acesso de rastreadores

Para permitir a cobrança pelo acesso de bots de IA a páginas protegidas, o processo vai exigir autenticação e validação digital.

Primeiro, os operadores de rastreadores terão que gerar chaves criptográficas e registrar informações como o user-agent, para garantir que só bots autorizados possam pagar e acessar o conteúdo. Em cada requisição, eles enviarão assinaturas digitais em cabeçalhos HTTP específicos, permitindo ao servidor verificar sua identidade.

A cobrança poderá acontecer de duas formas:

• Reativa: o bot pede o conteúdo, recebe um aviso de pagamento (HTTP 402) com o preço e decide se paga para repetir o pedido.
• Proativa: o bot já informa o valor que está disposto a pagar logo no primeiro acesso; se for suficiente, o servidor entrega o conteúdo imediatamente.

Assim, o sistema assegura que apenas rastreadores verificados paguem pelo acesso, evitando fraudes e dando controle ao dono do site sobre quem usa seu conteúdo.

Três opções de controle

A Cloudflare define três regras principais para quem habilitar o recurso:

• Permitir: deixa os rastreadores acessarem livremente, como já ocorre hoje.
• Bloquear: impede qualquer acesso de crawlers, semelhante ao uso de robots.txt.
• Pagar: exige pagamento para liberar o conteúdo.

Bloqueio padrão a rastreadores de IA

A partir de 1º de julho de 2025, a Cloudflare passará a bloquear, por padrão, os rastreadores de IA em todos os novos sites cadastrados na plataforma. Para liberar esse acesso, os administradores precisarão ajustar manualmente as configurações.

Em um anúncio oficial, a empresa descreveu essa mudança como o “Dia da Independência do Conteúdo”, criticando a prática de coletar informações de forma gratuita e oferecendo, em troca, pouquíssimo tráfego ou valor real aos criadores.

Segundo o comunicado:

A web está sendo explorada por rastreadores de IA, enquanto os criadores recebem quase nada em retorno. Esse modelo muda hoje, com um bloqueio padrão a menos que haja compensação justa pelo uso do conteúdo.

Afirmou a Cloudflare em nota oficial em seu blog

Impactos do pay per crawl em SEO

Ativar o pay per crawl tem efeitos diretos sobre a estratégia de SEO:

• Se um rastreador de IA decidir não pagar, seu conteúdo ficará inacessível para ele — e consequentemente não aparecerá em respostas geradas por IA.
• O rastreamento é fundamental para que qualquer mecanismo de busca compreenda e indexe as páginas. Sem ele, há risco de ficar “invisível”.
• Existe ainda o fator comercial: grandes empresas podem resistir a pagar por acesso, o que poderia limitar o alcance do site em certos mercados.

Por isso, antes de ativar, é importante avaliar cuidadosamente esses riscos e como eles se encaixam nos objetivos do site.

Como a Cloudflare diferencia bots de IA de crawlers de busca e outros bots legítimos

A Cloudflare gerencia cerca de 20% do tráfego global da internet e processa trilhões de requisições todos os dias. Graças a essa escala, a empresa desenvolveu um dos sistemas mais avançados para gerenciamento e identificação de bots.

Para distinguir bots de IA de mecanismos de busca ou outros serviços legítimos, a Cloudflare utiliza um conjunto de tecnologias sofisticadas: aprendizado de máquina, análise de comportamento e técnicas de impressão digital. Esses recursos permitem analisar padrões de acesso e classificar o tráfego com alta precisão, separando claramente rastreadores de IA de bots de busca tradicionais e outros bots considerados seguros.

Além disso, a Cloudflare mantém um dos maiores programas de verificação de bots do mundo, no qual operadores podem declarar de forma transparente o objetivo de seus crawlers. Isso ajuda a empresa a identificar com precisão os rastreadores de IA e oferecer aos donos de sites mais controle sobre quem acessa seu conteúdo.

Vale a pena implementar o pay per crawl?

A decisão depende muito do perfil e da estratégia de cada site. Para alguns, pode ser uma forma eficaz de proteger propriedade intelectual e obter receita adicional. Para outros, há o risco de reduzir tráfego ou relevância em buscas baseadas em IA.

Vale pensar em casos como estúdios de animação ou artistas cujos estilos são replicados por IA sem qualquer compensação. Um mecanismo pago poderia, por exemplo, garantir que cada uso comercial gerasse receita justa para o criador.

Sempre é bom ponderar fatores como:

• Importância do tráfego gerado por IA.
• Taxa de conversão vinda de ferramentas que usam IA generativa.
• Valor estratégico do conteúdo protegido.
• Impacto potencial de perder exposição em respostas geradas por IA.
• Características do público e do mercado em que atua.

Veja aqui a postagem oficial da empresa.

Reação bem-vinda para um problema complexo

A falta de legislação clara sobre direitos autorais na era da IA vem causando muitos questionamentos, principalmente de publishers, que dependem de tráfego e audiência em seus portais. É justo que veículos jornalísticos tenham seu trabalho resumido por robôs sem autorização? A polêmica está longe de ser resolvida.

Enquanto isso, cabe às empresas de infraestrutura — como a Cloudflare — assumir um papel intermediário, equilibrando interesses de gigantes da IA e os direitos de criadores. Uma resposta rápida para um dilema que está longe de ser simples.

Cada criador ou empresa precisa analisar os prós e contras para decidir se adere à nova modalidade. De qualquer forma, é positivo ter mais opções de negociação em um mercado historicamente dominado por grandes plataformas com poder de barganha muito maior.