Grátis · Ferramentas de SEO

Verificador de robots.txt

Baixe o robots.txt de qualquer site e teste se um rastreador pode acessar um caminho — avaliado pelas regras reais de rastreamento, com a linha decisiva em destaque.

URL do site

Digite qualquer URL http(s); um caminho específico como /private/admin também serve. A ferramenta baixa o robots.txt desse site e testa esse caminho exato.

Rastreador

O bot cujas regras decidem o teste. Vale correspondência por prefixo: "Googlebot" também cobre Googlebot-News, Googlebot-Image…

Digite uma URL e um rastreador e clique em "Verificar acesso". O veredito mostra se esse rastreador pode buscar o caminho segundo o robots.txt real do site.

Perguntas frequentes

O que os resultados significam de verdade?

O veredito vale para um único par (rastreador, caminho): "Permitido" ou "Bloqueado" segundo o robots.txt real do site. A página mostra de qual grupo user-agent vieram as regras e a regra única que decidiu. A avaliação segue exatamente a RFC 9309: ganha o padrão mais longo, um Allow vence um Disallow de mesmo tamanho, o asterisco corresponde a qualquer caractere incluindo a barra, um $ final fixa o fim, e sem regra correspondente tudo é permitido. Um Disallow com valor vazio é inócuo, como tratam os grandes buscadores.

Por que Googlebot também cobre Googlebot-News e Googlebot-Image?

A RFC 9309 diz que grupos user-agent são comparados por PREFIXO sem distinção de maiúsculas do token do rastreador: um grupo escrito para "Googlebot" também rege Googlebot-News, Googlebot-Image, Googlebot-Video etc. Os sites usam isso para escrever um único conjunto para a família inteira. Você pode digitar qualquer nome exato (por exemplo "GPTBot" ou "Baiduspider-image"); se o site tiver um grupo para ele, só as regras dele valem.

Esta ferramenta carrega minha página? De onde vem o robots.txt?

Ela baixa apenas o /robots.txt do alvo, nunca a própria página, e o download é feito por um servidor deste site porque o navegador não consegue ler o robots.txt de outra origem (CORS). O download tem limite de frequência, teto de 512 KB, no máximo 3 redirecionamentos e recusa endereços privados ou reservados. O arquivo é analisado inteiro no seu navegador; não exige conta e sua URL não é armazenada.

O que o verificador valida

Saúde do fetch — código de status, cadeias de redirecionamento e content-type verificados antes do parse; uma página HTML servida em /robots.txt falha de forma explícita.
Auditoria de diretivas — diretivas desconhecidas sinalizadas (os rastreadores as ignoram); crawl-delay conferido contra os limites dos principais bots.
Simulação de URL — cole caminhos e cada um reporta Permitido/Bloqueado com a linha correspondente exata citada.
Presença de sitemap — declarações Sitemap extraídas e verificadas quanto à acessibilidade.

Veja seu robots.txt do jeito que os bots o veem

Buscar, analisar e simular — cada regra Disallow testada contra as suas próprias URLs, com o veredito exibido por caminho.

🕸️

Regras reais, veredito real

Baixa o robots.txt real e avalia exatamente como os buscadores: padrão mais longo RFC 9309, Allow sobre Disallow, grupos por prefixo — nunca um palpite.

⚖️

A linha decisiva é mostrada

Além do simples Permitido / Bloqueado, você vê a regra exata que decidiu e o grupo user-agent de onde veio: entende o porquê e o que mudar.

🆓

Sem carregar sua página, sem cadastro, grátis

Só o robots.txt público é buscado (nunca sua página), por meio de um leitor com limite, teto de 512 KB e recusa de endereços privados. Sem conta, sem créditos.

Ferramentas relacionadas

🤖 Gerador de robots.txt 🔎 Visualizador de SERP 🗺️ Gerador de sitemap

O que é um verificador de robots.txt?

Um verificador de robots.txt baixa o robots.txt de um site e diz exatamente o que um agente de rastreamento pode buscar — avaliado do mesmo jeito que os grandes buscadores. robots.txt é um pequeno arquivo de texto público que qualquer site pode publicar para declarar quais caminhos os rastreadores podem ou não acessar ("Disallow: /admin/", "Allow: /public/", agrupado por rastreador sob linhas User-agent). Não é uma fronteira de segurança, mas é assim que suas preferências de rastreamento são comunicadas — e uma regra errada é causa comum de uma página escondida do Google sem querer. Esta ferramenta lê o arquivo e aplica as regras da RFC 9309: o padrão mais longo ganha, um Allow vence um Disallow de mesmo tamanho, o * corresponde a qualquer caractere, um $ final fixa o fim, e um grupo se aplica a um rastreador quando seu token é um prefixo sem distinção de maiúsculas do nome do bot.

O que esta ferramenta mostra

Um veredito instantâneo Permitido / Bloqueado para um par exato (caminho, rastreador)
A regra que decidiu e o grupo user-agent de origem
O status HTTP da resposta do robots.txt (404 = tudo permitido)
Contagens de grupos, regras correspondentes e linhas de sitemap
O robots.txt em estado bruto para conferência

Quando usar

Antes de lançar uma seção, confirmar que o Googlebot consegue rastreá-la
Depurar uma página ausente do Google — verificar se uma regra a bloqueia
Verificar se um Allow vence mesmo um Disallow anterior (erro comum)
Ao adicionar novos bots (IA, bots de imagem), confirmar quais caminhos podem usar

Nota de privacidade: esta ferramenta envia a URL informada para um servidor deste site, que baixa apenas o robots.txt público do alvo — sua página nunca é carregada. A análise acontece no seu navegador, os resultados são armazenados em cache brevemente, não exige conta e nada sobre você é guardado.