Robots.txt 생성기
크롤러별 Allow/Disallow 규칙과 sitemap 링크를 바로 붙여넣을 수 있게 생성
헷갈리기 쉬운 지시문 규칙
- 구체성 우선 — 같은 그룹 안에서는 더 길게 일치하는 Allow가 짧은 Disallow를 이기며, 미리보기에 어떤 규칙이 적용되었는지 주석으로 표시합니다.
- 그룹화 — 빈 줄은 그룹을 끝냅니다. 실수로 섞여 들어가면 그 이후 규칙이 무효화됩니다(여기서 검증).
- Crawl-delay — Bing/Yandex는 존중하지만 Google은 무시합니다(출력 주석에 명시).
- Sitemap 줄 — 절대 URL만 허용되며 여러 줄도 올바르게 출력합니다.
크롤러가 파싱하는 방식 그대로 표현되는 규칙
User-agent 그룹, allow/disallow 순서, crawl-delay, sitemap 선언 — 체크박스로 조립되며 실시간 파일 미리보기를 제공합니다.
세 가지 시작 프리셋
모두 허용, 모두 차단, WordPress 프리셋이 규칙 그룹을 즉시 채워 줍니다. 각각 의도에 맞는 올바른 User-agent와 Allow 또는 Disallow 줄이 들어갑니다.
크롤러별 규칙 줄
각 User-agent마다 Allow와 Disallow 경로의 편집 가능한 행이 따로 있으며, Sitemap 줄은 별도 입력란에서 추가되어 섞이지 않습니다.
편집할 때마다 출력 재생성
변경할 때마다 파일 본문이 고정폭 출력 상자에 다시 만들어져, 복사하거나 다운로드하기 전에 최종 robots.txt 내용을 확인할 수 있습니다.
자주 묻는 질문
빈 Disallow 줄은 무엇을 의미하나요?⌄
뒤에 아무것도 없는 "Disallow:"는 "아무것도 금지하지 않음"을 의미합니다. 즉 이 크롤러는 어디든 접근할 수 있습니다. 이것이 바로 '모두 허용' 프리셋이 생성하는 결과입니다.
robots.txt가 실제로 페이지 색인을 막아주나요?⌄
그것만으로는 확실하지 않습니다. 규칙을 잘 지키는 크롤러에게 해당 경로를 가져가지 말라고 요청할 뿐입니다. disallow로 지정되어 있어도 다른 곳에서 링크되어 있으면 여전히 색인될 수 있습니다. 검색 결과에서 페이지를 확실히 제외하려면 noindex 메타 태그나 HTTP 헤더를 사용하세요.
제 콘텐츠가 어딘가에 업로드되나요?⌄
아니요. 모든 작업은 순수 JavaScript로 브라우저 안에서 처리됩니다. 입력한 내용은 서버로 전송되지 않습니다.
robots.txt는 Google에서 페이지를 제거합니까?⌄
아니요 — Disallow는 색인이 아니라 크롤링을 막습니다. 차단된 URL 역시 링크만 표시된 형태로 노출될 수 있습니다. 실제 제거를 원하면 noindex 또는 삭제 도구를 사용하십시오.
관련 도구
Robots.txt 생성기란 무엇인가요?
robots.txt는 웹사이트 루트에 두는 순수 텍스트 파일로, 검색엔진 크롤러와 그 밖의 봇에게 사이트의 어느 부분을 가져가도 되는지 알려 줍니다. 전형적인 파일에는 규칙 그룹——User-agent 줄 뒤에 Allow와 Disallow 경로——이 들어 있고, 흔히 sitemap을 가리키는 줄도 있습니다. 손으로 쓰는 것 자체는 간단하지만, 효력을 발휘해야 할 Allow를 Disallow가 덮어버리는 등 눈치채기 어려운 실수를 하기 쉽습니다. 이 생성기는 편집 가능한 규칙 줄과 프리셋으로 파일을 조립하므로, 사이트 운영자와 SEO 실무자는 언제나 올바른 출발점에서 시작할 수 있습니다.
생성기가 조립하는 것
- 🤖 특정 봇부터 전체 대상 *까지, 크롤러별 규칙 그룹
- 🚫 그룹당 여러 Disallow, ✅ Allow 경로
- ⏱️ 선택적인 Crawl-delay 줄
- 🗺️ 하나 이상의 Sitemap 줄
- 🧩 시작용 프리셋: 모두 허용, 모두 차단, WordPress 기본값
- 📋 완성된 파일 복사 또는 바로 다운로드
작성하는 상황
- 스테이징이나 미리보기 환경을 검색결과에서 차단할 때
- 특정 스크레이퍼가 사이트를 과도하게 긁어가는 것을 막을 때
- 새로 설치한 WordPress의 크롤링 규칙을 설정할 때
- 개편 후 크롤러를 새 sitemap으로 안내할 때
파일은 브라우저 안에서만 조립되며 아무것도 업로드되지 않습니다. 알아 둘 점 두 가지: 완성된 파일은 사이트 루트에 업로드하고 접근 가능한지 확인해야 하며, robots.txt는 요청이지 강제가 아닙니다. 예의 바른 크롤러는 따르지만 봇을 억지로 멈추게 할 수는 없습니다.
마지막 업데이트 · 2026-09-01