Robots.txt 生成器
按爬虫设置 Allow/Disallow 规则和站点地图链接,一键复制使用
★★★★★ 数千用户信赖
🔒 隐私优先
⚡ 即时出结果
预设
规则
robots.txt
为什么选择我们
🔒
隐私优先
你的输入被安全处理,绝不出售;纯客户端工具完全不离开你的浏览器。
⚡
即时且免费
无需安装、无需等待,几秒出结果,在任意设备的浏览器中完成。
🎁
永久免费
无需注册、无水印、不限次数。所有客户端工具都可以随便用。
常见问题
空的 Disallow 行是什么意思?⌄
只写“Disallow:”而不加任何内容,表示“不禁止任何内容”——也就是说这个爬虫可以访问所有页面。这正是“允许全部”预设生成的效果。
robots.txt 真的能阻止页面被收录吗?⌄
并不能完全保证——它只是要求遵守规则的爬虫不要抓取某个路径。即便被禁止抓取,页面仍可能因外部链接等原因被收录。要真正把页面排除在搜索结果之外,应使用 noindex 元标签或 HTTP 响应头。
我的内容会被上传到别处吗?⌄
不会——一切都通过纯 JavaScript 在你的浏览器本地运行,你输入的内容不会发送到任何服务器。