Sitemap e robots.txt: o que configurar e o que não
SEO

Sitemap e robots.txt: o que configurar e o que não

Rafael NogueiraPor Rafael Nogueira · Consultor de SEO Técnico
Artigo criado em: 05/11/2026 às 09:05

São dois arquivos de texto, com poucos kilobytes, e mesmo assim respondem por uma parte considerável dos problemas de indexação que encontro. O motivo é simples: eles orientam o rastreamento do site inteiro, então um erro ali não afeta uma página, afeta todas.

Vale entender o papel de cada um antes de mexer, porque a confusão entre os dois é a origem da maioria dos acidentes.

O que cada arquivo faz

robots.txtsitemap.xml
FunçãoControlar o acesso do rastreadorListar os endereços que você quer que sejam conhecidos
FormatoTexto puro, na raizXML, geralmente na raiz
Obriga alguma coisa?É um pedido, respeitado por robôs sériosÉ uma sugestão, não garante indexação
Erro típicoBloqueio herdado do ambiente de testesEndereços que não existem mais
Efeito do erroSite inteiro invisívelDesperdício de rastreamento e confusão

O que colocar no sitemap

  • Apenas endereços que você quer no índice. Página marcada para não indexar não deveria estar ali.
  • Somente a versão canônica. Nada de listar com e sem barra final, ou com parâmetros.
  • Somente respostas 200. Endereço que redireciona ou dá erro polui a lista.
  • Data de modificação verdadeira. Se a data muda a cada regeneração do site, ela deixa de significar algo.
  • Divida quando crescer. Acima de dezenas de milhares de endereços, use um índice de sitemaps.

Sobre prioridade e frequência: são campos praticamente ignorados hoje. Não vale gastar tempo ajustando valores; vale gastar garantindo que a lista esteja limpa e atualizada automaticamente.

O que colocar no robots.txt

A regra geral é liberar. Bloqueie apenas o que realmente não deve ser rastreado: área administrativa, carrinho, resultados internos de busca, páginas de teste e endereços gerados por filtros que criam combinações infinitas.

User-agent: *
Allow: /
Disallow: /administracao/
Disallow: /carrinho/
Disallow: /busca?

Sitemap: https://seusite.com.br/sitemap.xml

Duas observações sobre esse arquivo. Primeira: ele é público, então não serve para esconder nada — listar uma pasta secreta ali é anunciá-la. Segunda: bloquear arquivos de estilo e de script prejudica a renderização da página pelo rastreador, e isso atrapalha a avaliação do conteúdo.

Bloquear, não indexar e remover são coisas diferentes

Bloquear no robots.txt impede a leitura. Use quando o conteúdo não precisa ser lido e consome rastreamento.

Marcar como não indexar permite a leitura e pede que a página fique fora do índice. É o caminho correto para tirar algo da busca — e exige que o rastreamento esteja liberado, senão a instrução nunca é vista.

Remover é a ferramenta de urgência do Search Console, que esconde temporariamente um endereço enquanto você resolve a causa. Não substitui as duas anteriores.

Ilustração: um portão de ferro entreaberto ao lado de um mapa dobrado aberto sobre uma mesa, com um caminho desenhado nele
Um arquivo controla a entrada; o outro mostra o caminho.

Quem gera esses arquivos no seu site

Vale saber de onde eles vêm, porque isso determina quem conserta quando dá errado. Em plataformas de gerenciamento, costumam ser produzidos por um plugin ou pelo próprio sistema. Em sites estáticos, são gerados no processo de publicação. Em lojas, quase sempre pela plataforma.

O problema aparece quando há mais de uma fonte: um plugin gera um sitemap, o tema gera outro, e os dois competem com listas diferentes. Se houver mais de um arquivo, escolha um, remova o outro e declare apenas o escolhido.

A regra que evita dor de cabeça: o arquivo precisa ser atualizado automaticamente quando você publica algo. Lista mantida à mão envelhece em semanas, e um sitemap desatualizado atrapalha mais do que ajuda, porque manda o robô visitar endereços que não existem.

Erros que aparecem em auditoria

  1. Bloqueio total herdado. Uma linha proibindo tudo, esquecida desde o desenvolvimento do site.
  2. Sitemap com endereços antigos. Depois de uma migração, a lista continua apontando para o que não existe.
  3. Sitemap não declarado. Sem a linha no robots.txt e sem envio no Search Console, a descoberta fica mais lenta.
  4. Página bloqueada com marcação de não indexar. As duas instruções juntas se anulam na prática.
  5. Arquivo servido como HTML. Alguns servidores devolvem página de erro estilizada em vez de texto puro.

Quando o site cresce

Acima de alguns milhares de páginas, esses dois arquivos deixam de ser detalhe e passam a ser ferramenta de gestão. Três práticas aparecem nesse porte.

Índice de sitemaps. Em vez de um arquivo gigante, vários menores, organizados por tipo de conteúdo: produtos, categorias, artigos, páginas. Além do limite técnico, isso dá um diagnóstico valioso — o relatório passa a mostrar quantos endereços de cada grupo foram processados, revelando qual parte do site o buscador está ignorando.

Controle do que consome rastreamento. Filtros, ordenações e buscas internas geram combinações praticamente infinitas. Bloquear esses padrões no arquivo de robôs devolve atenção para as páginas que importam. Em loja virtual, é a diferença entre o robô visitar produtos ou perder tempo em variações de cor e tamanho da mesma listagem.

Monitoramento de estatísticas de rastreamento. O Search Console mostra quantas requisições o Google fez, o tempo médio de resposta e quantos erros encontrou. Queda no volume ou aumento no tempo de resposta costumam anteceder problemas de indexação em semanas, e é o tipo de sinal que ninguém olha até doer.

Como conferir em cinco minutos

Abra os dois endereços no navegador e veja se aparecem como texto e XML, com status normal. Depois, no Search Console, confira o relatório de sitemaps: ele mostra quantos endereços foram enviados e quantos foram processados. Diferença grande entre os dois números aponta problema de qualidade ou de descoberta, e não de arquivo.

Por fim, inspecione duas ou três URLs importantes e veja se alguma aparece como bloqueada. Esse teste pega quase todos os acidentes de configuração.

O que fazer a partir daqui

Se o seu site é gerado por uma plataforma, confirme que os dois arquivos são atualizados automaticamente a cada publicação. Arquivo mantido à mão envelhece: em poucos meses, ele passa a listar páginas que não existem e a esquecer as novas — e aí ele atrapalha mais do que ajuda. Para entender o que acontece quando o Google conhece a URL mas não a baixa, vale ler o artigo sobre status de indexação.

Perguntas frequentes

Bloquear no robots.txt remove a página do Google?

Não. A página pode continuar no índice, sem descrição. Para remover, use a marcação de não indexar e mantenha o rastreamento liberado para que a instrução seja lida.

Preciso enviar o sitemap toda vez que publico?

Não. Basta mantê-lo atualizado automaticamente e declarado no robots.txt. Reenviar manualmente a cada publicação não acelera nada.

Prioridade e frequência no sitemap funcionam?

São praticamente ignoradas. O que importa é a lista estar limpa, com endereços canônicos que respondem normalmente.

Posso bloquear CSS e JavaScript?

Não é recomendado. O rastreador precisa renderizar a página como o usuário a vê; bloquear esses arquivos prejudica a avaliação do conteúdo.

O robots.txt protege área restrita?

Não. Ele é público e apenas pede que robôs não acessem. Proteção real exige autenticação ou bloqueio no servidor.

Leia também

Compartilhe este artigo

Fontes e leituras recomendadas

Tags: SEOsitemap.xml
Rafael Nogueira
Rafael NogueiraConsultor de SEO Técnico
Rafael é consultor de SEO técnico e desenvolvedor. Especialista em performance, dados estruturados (Schema.org) e arquitetura de sites, já auditou centenas de projetos. No blog, traduz temas técnicos complexos em passos práticos que qualquer time consegue aplicar.