robots.txt チェッカー
任意サイトの robots.txt を取得し、あるクローラーがパスにアクセスできるかを検査 — 実際のクロール規則に基づいて判定し、決め手となったルールも表示。
⚠️ このサイトを検査できませんでした
- 検査したパス
- ルールグループ
- 決定的ルール
robots.txt 原文
よくある質問
結果はどういう意味ですか？
判定は1つの「（クローラー, パス）」の組み合わせに対するものです：「許可」または「ブロック」、サイトの実際の robots.txt に基づきます。ページには、ルールがどの user-agent グループから来たか、どのルールが決め手になったかが表示されます。評価は RFC 9309 に完全準拠：最長の一致パターンが勝ち、同じ長さなら Allow が優先、アスタリスクはスラッシュを含む任意の文字、末尾の $ は終端固定、一致ルールが無ければ全て許可。空の Disallow は無効（主要検索エンジンと同じ扱い）です。
なぜ Googlebot で Googlebot-News や Googlebot-Image も一致するのですか？
RFC 9309 では user-agent グループはボットのトークンの大文字小文字を区別しない PREFIX で照合されます。「Googlebot」向けのグループは Googlebot-News、Googlebot-Image、Googlebot-Video などにも適用されます。サイトはこれを利用してファミリー全体に1セットのルールを書いています。任意の正確な名前（「GPTBot」「Baiduspider-image」など）を入力できます。そのグループがあれば、そのルールだけが適用されます。
このツールは私のページを読み込みますか？ robots.txt はどこから来ますか？
対象サイトの /robots.txt だけを取得します — ページ自体は決して読み込みません。ブラウザは別オリジンの robots.txt を直接読めない（CORS）ため、このサイトのサーバーが取得します。取得はレート制限・512 KB 上限・最大3回のリダイレクト、プライベート/予約アドレスは拒否。ファイルはブラウザ内で完全に解析され、アカウント不要で、URL は保存されません。
チェッカーが検証する内容
- 取得の健全性 — 解析の前にステータスコード・リダイレクト連鎖・content-typeを確認。/robots.txtでHTMLページが返る場合ははっきり失敗扱いにします。
- ディレクティブ監査 — 不明なディレクティブはフラグ表示(クローラーは無視します)。crawl-delayは主要ボットの制限値に照らして妥当性を確認します。
- URLシミュレーション — パスを貼り付けると、一致した行を引用しながら各URLのAllowed/Blockedを判定します。
- sitemapの有無 — Sitemap宣言を抽出し、到達できるかを確認します。
ボットと同じ目線で自分のrobots.txtを見る
取得・解析・シミュレーション — すべてのDisallowルールを自分のURLに対して試し、パスごとの判定を表示します。
実際のルールで実際の判定
実際の robots.txt を取得し、検索エンジンと同時の基準で評価 — RFC 9309 の最長マッチ、同一長なら Allow 優先、プレフィックスグループ。推測は一切なし。
決め手の行を表示
「許可 / ブロック」のバッジに加え、判定の決め手となったルールと user-agent グループが表示されるので、理由と修正点が分かります。
ページ読み込みなし・サインアップ不要・無料
取得するのは公開 robots.txt のみ（あなたのページは決して読み込みません）。レート制限・512 KB 上限・プライベートアドレス拒否のリーダーを使用。アカウントもクレジットも不要です。
関連ツール
robots.txt チェッカーとは？
robots.txt チェッカーはサイトの robots.txt を取得し、あるクロールエージェントが何を取得できるかを正確に示します — 主要検索エンジンとまったく同じ評価方法です。robots.txt は各サイトが公開できる小さなテキストファイルで、どのパスをクローラーが取得できる／できないかを宣言します（「Disallow: /admin/」「Allow: /public/」など、User-agent 行の下にクローラー別にグループ化）。セキュリティの境界ではありませんが、検索エンジンやボットにクロールの好みを伝える手段であり、ルールを書き間違えるとページが意図せず Google から隠れるよくある原因になります。このツールはそのファイルを読み、RFC 9309 の照合ルールを適用します：最長パターン優先、同長なら Allow 優先、アスタリスクは任意の文字、末尾 $ は終端固定、グループはボット名の大文字小文字を区別しないプレフィックスで適用されます。
このツールが表示するもの
- 1つの正確な（パス, クローラー）組に対する即時の「許可 / ブロック」判定
- 決め手となったルールとその user-agent グループ
- robots.txt 応答の HTTP ステータス（404 は全部許可）
- グループ数・一致ルール数・sitemap 行数の集計
- 検査のため robots.txt 原文
いつ使うか
- 新セクションの公開前に、Googlebot がクロールできることを確認する
- 検索結果から消えたページの原因調査 — robots ルールがブロックしていないか
- Allow の上書きが過去の Disallow より本当に優先されるか検証する（よくあるミス）
- 新しいボット（AI クローラー、画像ボット）を追加する際に使えるパスを確認する
プライバシーについて：このツールは入力した URL をこのサイトのサーバーに送り、対象サイトの公開 robots.txt のみを取得します — あなたのページは決して読み込まれません。解析はブラウザ内で完結し、結果は帯域節約のため短時間キャッシュされ、アカウント不要で、あなたについて何も保存しません。