무료 · SEO 도구

robots.txt 체커

어떤 사이트의 robots.txt를 가져와 특정 크롤러가 경로에 접근할 수 있는지 테스트 — 실제 크롤 규칙에 따라 평가하고 결정한 규칙을 표시합니다.

웹사이트 URL

http(s) URL을 입력하세요. /private/admin 같은 특정 경로도 가능합니다. 이 도구는 해당 사이트의 robots.txt를 가져와 이 경로를 검사합니다.

크롤러

테스트를 결정하는 봇입니다. 접두사 매칭이 적용됩니다: "Googlebot"은 Googlebot-News, Googlebot-Image… 도 포함합니다.

URL과 크롤러를 입력하고 "접근 확인"을 누르세요. 사이트의 실제 robots.txt에 따라 그 크롤러가 경로를 가져올 수 있는지 판정합니다.

자주 묻는 질문

결과는 실제로 무엇을 의미하나요?

판정은 하나의 (크롤러, 경로) 조합에 대한 것입니다: 사이트의 실제 robots.txt에 따라 "허용" 또는 "차단". 페이지에는 규칙이 어느 user-agent 그룹에서 왔는지, 어떤 규칙이 결정했는지가 표시됩니다. 평가는 RFC 9309를 정확히 따릅니다: 가장 긴 일치 패턴이 이기고, 같은 길이면 Allow가 우선이며, 별표는 슬래시를 포함한 모든 문자, 끝의 $는 고정, 일치 규칙이 없으면 모두 허용. 빈 값의 Disallow는 효과가 없습니다(주요 검색엔진과 동일).

왜 Googlebot이 Googlebot-News, Googlebot-Image도 포함하나요?

RFC 9309는 user-agent 그룹이 봇 토큰의 대소문자 구분 없는 PREFIX로 일치한다고 규정합니다. "Googlebot"용 그룹은 Googlebot-News, Googlebot-Image, Googlebot-Video 등에도 적용됩니다. 사이트는 이를 이용해 한 규칙으로 패밀리 전체를 다룹니다. 정확한 이름("GPTBot", "Baiduspider-image" 등)을 입력할 수도 있습니다. 해당 그룹이 있으면 그 규칙만 적용됩니다.

이 도구가 제 페이지를 로드하나요? robots.txt는 어디서 오나요?

대상의 /robots.txt만 가져오고 페이지 자체는 절대 로드하지 않습니다. 브라우저는 다른 오리진의 robots.txt를 직접 읽을 수 없으므로(CORS) 이 사이트의 서버가 대신 가져옵니다. 가져오기는 속도 제한, 512KB 상한, 최대 3회 리다이렉트, 사설/예약 주소 거부를 적용합니다. 파일은 전부 브라우저에서 분석되며, 계정이 필요 없고 URL이 저장되지 않습니다.

체커가 검증하는 항목

가져오기 상태 — 파싱 전에 상태 코드, 리디렉션 체인, content-type을 확인합니다. /robots.txt 위치에서 HTML 페이지가 응답하면 명확하게 실패를 알립니다.
지시문 감사 — 알 수 없는 지시문은 표시되고(크롤러가 무시함) crawl-delay는 주요 봇 한도 기준으로 타당성이 점검됩니다.
URL 시뮬레이션 — 경로를 붙여넣으면 각각 허용/차단 판정과 함께 일치한 규칙 줄을 그대로 인용해 보여줍니다.
Sitemap 존재 확인 — Sitemap 선언을 추출해 접근 가능 여부까지 확인합니다.

봇이 보는 방식 그대로 robots.txt 보기

가져오기, 파싱, 시뮬레이션 — 모든 Disallow 규칙을 사용자 URL에 대해 테스트하고 경로별 판정을 보여줍니다.

🕸️

실제 규칙으로 실제 판정

실제 robots.txt를 가져와 검색엔진과 동일한 기준으로 평가 — RFC 9309 최장 매칭, 길이 같으면 Allow 우선, 접두사 그룹. 추측 없음.

⚖️

결정한 줄을 표시

"허용 / 차단" 배지뿐 아니라 판정의 근거가 된 규칙과 user-agent 그룹까지 보여줘 이유와 수정점을 알 수 있습니다.

🆓

페이지 로드 없음·가입 없음·무료

공개 robots.txt만 가져옵니다(귀하의 페이지는 절대). 속도 제한·512KB 상한·사설 주소 거부 리더를 사용하며 계정도 크레딧도 필요 없습니다.