無料 · SEOツール

robots.txtジェネレーター

クローラーごとのAllow/Disallowルールとsitemapリンクを、そのまま貼り付け可能な形で生成

プリセット

ルール

sitemap URL（1行に1つ）

robots.txt

人がつまずきやすいディレクティブの挙動

具体性のほうが優先 — 同一グループ内では、より長く一致するAllowが短いDisallowに勝ちます。どのルールが発火したかプレビューに注記します。
グループ化 — 空行でグループが終わります。うっかり混在させると、その後のルールが無効化されるのをここで検証します。
crawl-delay — Bing/Yandexは尊重し、Googleは無視します(出力コメントに明記)。
sitemap行 — 絶対URLのみを受け付けます。複数行も許容し、正しく出力します。

クローラーの解釈に沿って書かれるルール

User-agentグループ、allow/disallowの順序、crawl-delay、sitemap宣言 — すべてチェックボックスから組み立て、ファイルをライブプレビューします。

⚡

3つの初期プリセット

許可すべて、拒否すべて、WordPressのプリセットがルールグループを即座に構成。それぞれ意図に応じた正しいUser-agentとAllow／Disallow行が入ります。

🔒

クローラー別のルール行

各User-agentにAllow・Disallowパスの編集可能な行が独立してあり、Sitemap行は別の入力欄から追記されるため混ざりません。

🎯

編集のたびに出力を再生成

変更のたびにファイル本文が等幅出力ボックスで再構築されるので、コピーやダウンロード前に最終的なrobots.txtの内容を確認できます。

よくある質問

空のDisallow行はどういう意味ですか？⌄

「Disallow:」の後に何も書かない場合、「何も禁止しない」という意味になります。つまりこのクローラーはすべてのページにアクセスできます。これは「すべて許可」プリセットが生成する内容と同じです。

robots.txtは本当にページのインデックスを止められますか？⌄

それ単体では確実ではありません。行儀の良いクローラーに対して、そのパスを取得しないよう求めるだけです。disallowされていても、他所からリンクされているなどの理由でページがインデックスされることはあります。検索結果から確実にページを除外したい場合は、noindexメタタグやHTTPヘッダーを使ってください。

入力した内容はどこかにアップロードされますか？⌄

いいえ。すべて純粋なJavaScriptでブラウザ内で処理されます。入力内容がサーバーに送信されることはありません。

robots.txtでGoogleからページを除外できますか？⌄

できません — Disallowが止めるのはクロールであって、インデックスではありません。ブロックされたURLでも裸のリンクとして表示されることはあります。本当に除外したい場合はnoindexか削除ツールを使ってください。