Robots.txt 產生器
依爬蟲設定 Allow/Disallow 規則與網站地圖連結，一鍵複製使用
最容易搞錯的指令語義
- 愈具體愈有效 — 同一群組內，較長且符合的 Allow 會壓過較短的 Disallow；預覽會註記實際生效的是哪一條。
- 群組劃分 — 空白行代表一個群組結束；不小心混在一起，後面的規則就會失效（這裡會幫你驗證）。
- Crawl-delay — Bing/Yandex 會遵守，Google 直接忽略（輸出的註解會標明）。
- Sitemap 行 — 只能用絕對 URL；可以有多行，而且會正確輸出。
規則的寫法就是爬蟲解析的方式
User-agent 群組、allow/disallow 順序、crawl-delay 與 sitemap 宣告 — 全部用勾選方塊組裝，並即時預覽檔案內容。
三種起步預設模式
允許全部、封鎖全部和 WordPress 預設一鍵填好規則群組，每種都帶有符合意圖的 User-agent 和 Allow 或 Disallow 行。
按爬蟲分行的規則
每個 User-agent 擁有獨立的 Allow 和 Disallow 路徑編輯行，Sitemap 行從單獨輸入框附加，兩者互不混淆。
編輯後即時重新產生
檔案文字隨每次修改在等寬輸出框中重新產生，複製或下載前就能看到最終 robots.txt 的內容。
常見問題
空白的 Disallow 行代表什麼？⌄
只寫「Disallow:」而後面不加任何內容，代表「不禁止任何內容」——也就是這個爬蟲可以存取所有頁面。這正是「全部允許」預設所產生的效果。
robots.txt 真的能阻止頁面被收錄嗎？⌄
並不能完全保證——它只是要求遵守規則的爬蟲不要抓取某個路徑。即使被禁止抓取，頁面仍可能因外部連結等原因被收錄。要真正把頁面排除在搜尋結果之外，應改用 noindex 元標籤或 HTTP 標頭。
我的內容會被上傳到別處嗎？⌄
不會——一切都以純 JavaScript 在你的瀏覽器端執行，你輸入的內容不會傳送到任何伺服器。
robots.txt 可以讓 Google 移除頁面嗎？⌄
不行 — Disallow 封鎖的是檢索，不是索引。被封鎖的 URL 仍可能以裸連結的形式出現。想真正移除，請使用 noindex 或 Google 的移除工具。
相關工具
什麼是 Robots.txt 產生器？
robots.txt 是網站根目錄下的一個純文字檔，告訴搜尋引擎爬蟲和其他機器人可以抓取網站的哪些部分。典型檔案包含若干規則組——一行 User-agent 後接 Allow 和 Disallow 路徑——通常還有一行指向 sitemap。手寫並不難，但很容易犯隱蔽的錯誤，例如 Disallow 遮住了本應生效的 Allow。這個產生器用可編輯的規則列和預設來組裝檔案，讓站長和 SEO 從業者每次都能從正確的起點出發。
產生器會建構什麼
- 🤖 依爬蟲分組的規則，從指定機器人到通用 *
- 🚫 每組可 Disallow、✅ 可 Allow 多個路徑
- ⏱️ 可選的 Crawl-delay 列
- 🗺️ 一條或多條 Sitemap 列
- 🧩 起步預設：全部允許、全部封鎖、WordPress 預設
- 📋 複製成品檔案，或直接下載
什麼時候會寫一份
- 把測試或預覽環境從搜尋結果中封鎖
- 阻止某個爬蟲頻繁抓取你的網站
- 為全新安裝的 WordPress 設定抓取規則
- 改版後引導爬蟲讀取新的 sitemap
檔案完全在瀏覽器本機組裝，不上傳任何內容。有兩點需要知道：成品檔案要上傳到網站根目錄並確認可以存取；另外 robots.txt 是請求而非強制——守規矩的爬蟲會遵守，但它無法強迫任何機器人停止。
最後更新 · 2026-09-01