Gratis · Herramientas SEO

Comprobador de robots.txt

Descarga el robots.txt de cualquier sitio y comprueba si un rastreador puede acceder a una ruta — evaluado según las reglas reales de rastreo, mostrando la línea decisiva.

URL del sitio

Introduce cualquier URL http(s); también vale un camino concreto como /private/admin. La herramienta descarga ese robots.txt y lo compara con esta ruta exacta.

Rastreador

El bot cuyas reglas deciden la prueba. Se aplica coincidencia por prefijo: “Googlebot” también cubre Googlebot-News, Googlebot-Image…

Introduce una URL y un rastreador, y pulsa “Comprobar acceso”. El veredicto muestra si ese rastreador puede obtener la ruta según el robots.txt real del sitio.

Preguntas frecuentes

¿Qué significan realmente los resultados?

El veredicto es para un único par (rastreador, ruta): “Permitido” o “Bloqueado” según el robots.txt real del sitio. La página muestra de qué grupo de user-agent proceden las reglas y la única regla que decidió. La evaluación sigue exactamente RFC 9309: gana el patrón coincidente más largo, un Allow vence a un Disallow de igual longitud, el asterisco coincide con cualquier carácter incluida la barra, un $ final fija el final, y sin regla coincidente todo está permitido. Un Disallow con valor vacío no hace nada, igual que lo aplican los grandes buscadores.

¿Por qué Googlebot también cubre Googlebot-News y Googlebot-Image?

RFC 9309 dice que los grupos de user-agent se comparan como PREFIJO insensible a mayúsculas del token del rastreador: un grupo escrito para “Googlebot” también rige Googlebot-News, Googlebot-Image, Googlebot-Video, etc. Los sitios se apoyan en esto para escribir un solo conjunto para toda la familia. Puedes escribir cualquier nombre exacto (por ejemplo “GPTBot” o “Baiduspider-image”); si el sitio tiene un grupo para él, solo aplican sus reglas.

¿Esta herramienta carga mi página? ¿De dónde sale el robots.txt?

Solo descarga el /robots.txt del objetivo, nunca la página en sí, y la descarga la hace un servidor de este sitio porque el navegador no puede leer el robots.txt de otro origen (CORS). La descarga tiene límite de frecuencia, tope de 512 KB, sigue como máximo 3 redirecciones y rechaza direcciones privadas o reservadas. El archivo se analiza entero en tu navegador; no hace falta cuenta y tu URL no se guarda.

Qué valida el comprobador

Salud de la descarga — código de estado, cadenas de redirección y content-type verificados antes de analizar; una página HTML servida en /robots.txt falla de forma visible.
Auditoría de directivas — directivas desconocidas marcadas (los rastreadores las ignoran); crawl-delay verificado contra los límites de los bots principales.
Simulación de URL — pegue rutas y cada una informa Allowed/Blocked citando la línea exacta que coincide.
Presencia de sitemap — declaraciones Sitemap extraídas y verificadas en cuanto a accesibilidad.

Vea su robots.txt como lo ven los bots

Descarga, análisis y simulación — cada regla Disallow probada contra sus propias URL, con el veredicto mostrado ruta por ruta.

🕸️

Reglas reales, veredicto real

Descarga el robots.txt real y lo evalúa tal como hacen los buscadores: patrón más largo de RFC 9309, Allow sobre Disallow, grupos por prefijo — nunca una suposición.

⚖️

Se muestra la línea decisiva

Más allá del simple Permitido / Bloqueado, ves la regla exacta que decidió y el grupo de user-agent del que viene: entiendes el porqué y qué cambiar.

🆓

Sin cargar tu página, sin registro, gratis

Solo se obtiene el robots.txt público (nunca tu página), a través de un lector con límite, tope de 512 KB y rechazo de direcciones privadas. Sin cuenta ni créditos.

Herramientas relacionadas

🤖 Generador de robots.txt 🔎 Vista previa SERP 🗺️ Generador de sitemap

¿Qué es un comprobador de robots.txt?

Un comprobador de robots.txt descarga el robots.txt de un sitio y te dice exactamente qué puede obtener un agente de rastreo — evaluado igual que hacen los principales buscadores. robots.txt es un pequeño archivo de texto público que cualquier sitio puede publicar para indicar qué rutas pueden y qué no pueden acceder los rastreadores (“Disallow: /admin/”, “Allow: /public/”, agrupado por rastreador bajo líneas User-agent). No es una frontera de seguridad, pero es como se comunican tus preferencias de rastreo a los buscadores y demás bots — y una regla mal escrita es una causa frecuente de que una página quede oculta para Google sin querer. Esta herramienta lee ese archivo y aplica las reglas de coincidencia de RFC 9309: gana el patrón más largo, un Allow vence a un Disallow de igual longitud, el asterisco coincide con cualquier carácter, un $ final fija el final, y un grupo se aplica a un rastreador cuando su token es prefijo insensible a mayúsculas del nombre del bot.

Qué muestra esta herramienta

Un veredicto instantáneo Permitido / Bloqueado para un par exacto (ruta, rastreador)
La regla que decidió y el grupo de user-agent de donde procede
El estado HTTP de la respuesta del robots.txt (404 significa todo permitido)
Conteos de grupos, reglas coincidentes y líneas de sitemap
El robots.txt en bruto para que lo verifiques

Cuándo usarlo

Antes de lanzar una sección, confirma que Googlebot puede rastrearla
Depurar una página ausente de Google: comprobar si una regla la bloquea
Verificar que un Allow realmente supera a un Disallow anterior (error común)
Al añadir bots nuevos (IA, bots de imagen), confirmar qué rutas pueden usar

Nota de privacidad: esta herramienta envía la URL que introdujiste a un servidor de este sitio, que descarga solo el robots.txt público del objetivo — tu página nunca se carga. El análisis ocurre en tu navegador, los resultados se cachean brevemente, no requiere cuenta y no guarda nada sobre ti.