Otimização de Crawl Budget: como filtrar parâmetros baseados em filtros? guia robots.txt

A +A −

A navegação por filtros é um recurso comum em sites, permitindo que os visitantes ajustem como itens (como produtos, artigos ou eventos) são exibidos em uma página. Embora seja uma funcionalidade útil, sua implementação mais comum — baseada em parâmetros de URL — pode gerar um número infinito de combinações de URLs e, inclusive, prejudicar estratégias de SEO de várias maneiras:

• Rastreamento excessivo: os mecanismos de busca acessam uma grande quantidade de URLs geradas pelos filtros, sem saber se elas são úteis, desperdiçando recursos do servidor.
• Rastreamento de descoberta mais lento: o tempo consumido em URLs de filtros inúteis reduz a capacidade do Googlebot de rastrear novas páginas importantes.
• Canibalização excessiva: quando páginas concorrem entre si pois possuem termos e semântica HTML similares

Por exemplo, uma URL com filtros pode ser assim:

%%PB_PROTECTED_0%%

https://exemplo.com/produtos?categoria=peixe&cor=verde_radioativo&tamanho=pequeno

Cada filtro gera uma nova combinação de URLs, aumentando exponencialmente o volume de páginas para rastrear.

Exemplo de URL com parâmetros em site de pesquisa jurídica:

Por que gerenciar o rastreamento de URLs com filtros?

Se você não gerenciar adequadamente essas URLs, elas podem:

1. Prejudicar o orçamento de rastreamento do seu site (crawl budget).
2. Aumentar o consumo de recursos do servidor.
3. Gerar páginas duplicadas ou de baixo valor indexadas no Google.

Portanto, é importante definir se essas URLs devem ser indexadas ou bloqueadas, dependendo dos objetivos do seu site.

Como impedir o rastreamento de URLs com parâmetros de filtros

Se você não precisa que as URLs com filtros sejam indexadas, é recomendável bloquear o rastreamento dessas URLs usando o arquivo robots.txt.

Disallow pelo robots.txt

Suponha que os parâmetros categoria, cor e tamanho estejam gerando filtros desnecessários. Você pode adicionar as seguintes regras:

%%PB_PROTECTED_1%%

User-agent: Googlebot  
Disallow: /*?*categoria=  
Disallow: /*?*cor=  
Disallow: /*?*tamanho=  
Allow: /*?categoria=todos$  

Explicação:

• Disallow impede que o Googlebot rastreie URLs com os parâmetros especificados.
• Allow permite URLs específicas importantes, como uma listagem geral.

Exemplo de aplicação no site do Jusbrasil:

Reparem que existem regras específicas para indexar a primeira página de um resultado de busca e as internas não, dentre outras estratégias.

Uso estratégico da tag rel=”canonical”

Para URLs de filtros, adicione a tag canonical apontando para a URL principal (sem filtros).

%%PB_PROTECTED_2%%

<link rel="canonical" href="https://exemplo.com/produtos" />

Uso estratégico de rel=”nofollow” em links <a>

Adicione rel="nofollow" nos links que levam a páginas com filtros, impedindo que o Google siga esses links.

%%PB_PROTECTED_3%%

<a href="https://exemplo.com/produtos?cor=verde" rel="nofollow">Ver produtos verdes</a>

Retorne o status 404 para filtros inválidos

Se um filtro não retornar nenhum resultado (por exemplo, produtos inexistentes), retorne um código HTTP 404. Isso evita que o Google indexe URLs sem valor.

Use fragmentos de URL (#)

Se possível, substitua parâmetros de URL por fragmentos, que não são rastreados pelo Google.

%%PB_PROTECTED_4%%

https://exemplo.com/produtos#categoria=peixe&cor=verde

Insights finais

A navegação por filtros é uma funcionalidade poderosa, mas pode prejudicar o SEO do site se não for bem gerenciada. Avalie suas necessidades:

• Se as URLs com filtros não forem importantes, bloqueie o rastreamento usando robots.txt.
• Se forem necessárias para indexação, otimize-as com tags canonical ou nofollow e mantenha uma estrutura de URL limpa e eficiente. Avalie criar URLs atomizadas caso as de parâmetros sejam relevantes.

Se você precisa de mentes no seu negócio, saiba que a Pink and Brain pode te ajudar. Somos ratos quando o assunto é SEO e marketing digital. Venha tomar um café digital.