
Sitemap e robots.txt: o que configurar e o que não
São dois arquivos de texto, com poucos kilobytes, e mesmo assim respondem por uma parte considerável dos problemas de indexação que encontro. O motivo é simples: eles orientam o rastreamento do site inteiro, então um erro ali não afeta uma página, afeta todas.
Vale entender o papel de cada um antes de mexer, porque a confusão entre os dois é a origem da maioria dos acidentes.
O que cada arquivo faz
| robots.txt | sitemap.xml | |
|---|---|---|
| Função | Controlar o acesso do rastreador | Listar os endereços que você quer que sejam conhecidos |
| Formato | Texto puro, na raiz | XML, geralmente na raiz |
| Obriga alguma coisa? | É um pedido, respeitado por robôs sérios | É uma sugestão, não garante indexação |
| Erro típico | Bloqueio herdado do ambiente de testes | Endereços que não existem mais |
| Efeito do erro | Site inteiro invisível | Desperdício de rastreamento e confusão |
O que colocar no sitemap
- Apenas endereços que você quer no índice. Página marcada para não indexar não deveria estar ali.
- Somente a versão canônica. Nada de listar com e sem barra final, ou com parâmetros.
- Somente respostas 200. Endereço que redireciona ou dá erro polui a lista.
- Data de modificação verdadeira. Se a data muda a cada regeneração do site, ela deixa de significar algo.
- Divida quando crescer. Acima de dezenas de milhares de endereços, use um índice de sitemaps.
Sobre prioridade e frequência: são campos praticamente ignorados hoje. Não vale gastar tempo ajustando valores; vale gastar garantindo que a lista esteja limpa e atualizada automaticamente.
O que colocar no robots.txt
A regra geral é liberar. Bloqueie apenas o que realmente não deve ser rastreado: área administrativa, carrinho, resultados internos de busca, páginas de teste e endereços gerados por filtros que criam combinações infinitas.
User-agent: *
Allow: /
Disallow: /administracao/
Disallow: /carrinho/
Disallow: /busca?
Sitemap: https://seusite.com.br/sitemap.xml
Duas observações sobre esse arquivo. Primeira: ele é público, então não serve para esconder nada — listar uma pasta secreta ali é anunciá-la. Segunda: bloquear arquivos de estilo e de script prejudica a renderização da página pelo rastreador, e isso atrapalha a avaliação do conteúdo.
Bloquear, não indexar e remover são coisas diferentes
Bloquear no robots.txt impede a leitura. Use quando o conteúdo não precisa ser lido e consome rastreamento.
Marcar como não indexar permite a leitura e pede que a página fique fora do índice. É o caminho correto para tirar algo da busca — e exige que o rastreamento esteja liberado, senão a instrução nunca é vista.
Remover é a ferramenta de urgência do Search Console, que esconde temporariamente um endereço enquanto você resolve a causa. Não substitui as duas anteriores.

Quem gera esses arquivos no seu site
Vale saber de onde eles vêm, porque isso determina quem conserta quando dá errado. Em plataformas de gerenciamento, costumam ser produzidos por um plugin ou pelo próprio sistema. Em sites estáticos, são gerados no processo de publicação. Em lojas, quase sempre pela plataforma.
O problema aparece quando há mais de uma fonte: um plugin gera um sitemap, o tema gera outro, e os dois competem com listas diferentes. Se houver mais de um arquivo, escolha um, remova o outro e declare apenas o escolhido.
A regra que evita dor de cabeça: o arquivo precisa ser atualizado automaticamente quando você publica algo. Lista mantida à mão envelhece em semanas, e um sitemap desatualizado atrapalha mais do que ajuda, porque manda o robô visitar endereços que não existem.
Erros que aparecem em auditoria
- Bloqueio total herdado. Uma linha proibindo tudo, esquecida desde o desenvolvimento do site.
- Sitemap com endereços antigos. Depois de uma migração, a lista continua apontando para o que não existe.
- Sitemap não declarado. Sem a linha no robots.txt e sem envio no Search Console, a descoberta fica mais lenta.
- Página bloqueada com marcação de não indexar. As duas instruções juntas se anulam na prática.
- Arquivo servido como HTML. Alguns servidores devolvem página de erro estilizada em vez de texto puro.
Quando o site cresce
Acima de alguns milhares de páginas, esses dois arquivos deixam de ser detalhe e passam a ser ferramenta de gestão. Três práticas aparecem nesse porte.
Índice de sitemaps. Em vez de um arquivo gigante, vários menores, organizados por tipo de conteúdo: produtos, categorias, artigos, páginas. Além do limite técnico, isso dá um diagnóstico valioso — o relatório passa a mostrar quantos endereços de cada grupo foram processados, revelando qual parte do site o buscador está ignorando.
Controle do que consome rastreamento. Filtros, ordenações e buscas internas geram combinações praticamente infinitas. Bloquear esses padrões no arquivo de robôs devolve atenção para as páginas que importam. Em loja virtual, é a diferença entre o robô visitar produtos ou perder tempo em variações de cor e tamanho da mesma listagem.
Monitoramento de estatísticas de rastreamento. O Search Console mostra quantas requisições o Google fez, o tempo médio de resposta e quantos erros encontrou. Queda no volume ou aumento no tempo de resposta costumam anteceder problemas de indexação em semanas, e é o tipo de sinal que ninguém olha até doer.
Como conferir em cinco minutos
Abra os dois endereços no navegador e veja se aparecem como texto e XML, com status normal. Depois, no Search Console, confira o relatório de sitemaps: ele mostra quantos endereços foram enviados e quantos foram processados. Diferença grande entre os dois números aponta problema de qualidade ou de descoberta, e não de arquivo.
Por fim, inspecione duas ou três URLs importantes e veja se alguma aparece como bloqueada. Esse teste pega quase todos os acidentes de configuração.
O que fazer a partir daqui
Se o seu site é gerado por uma plataforma, confirme que os dois arquivos são atualizados automaticamente a cada publicação. Arquivo mantido à mão envelhece: em poucos meses, ele passa a listar páginas que não existem e a esquecer as novas — e aí ele atrapalha mais do que ajuda. Para entender o que acontece quando o Google conhece a URL mas não a baixa, vale ler o artigo sobre status de indexação.
Perguntas frequentes
Bloquear no robots.txt remove a página do Google?
Não. A página pode continuar no índice, sem descrição. Para remover, use a marcação de não indexar e mantenha o rastreamento liberado para que a instrução seja lida.
Preciso enviar o sitemap toda vez que publico?
Não. Basta mantê-lo atualizado automaticamente e declarado no robots.txt. Reenviar manualmente a cada publicação não acelera nada.
Prioridade e frequência no sitemap funcionam?
São praticamente ignoradas. O que importa é a lista estar limpa, com endereços canônicos que respondem normalmente.
Posso bloquear CSS e JavaScript?
Não é recomendado. O rastreador precisa renderizar a página como o usuário a vê; bloquear esses arquivos prejudica a avaliação do conteúdo.
O robots.txt protege área restrita?
Não. Ele é público e apenas pede que robôs não acessem. Proteção real exige autenticação ou bloqueio no servidor.
Leia também
Compartilhe este artigo
Fontes e leituras recomendadas

