AI Super Tools
登录
免费 · SEO工具

Robots.txt 生成器

按爬虫设置 Allow/Disallow 规则和站点地图链接,一键复制使用

★★★★★ 数千用户信赖 🔒 隐私优先 ⚡ 即时出结果
预设
规则
robots.txt

为什么选择我们

🔒

隐私优先

你的输入被安全处理,绝不出售;纯客户端工具完全不离开你的浏览器。

即时且免费

无需安装、无需等待,几秒出结果,在任意设备的浏览器中完成。

🎁

永久免费

无需注册、无水印、不限次数。所有客户端工具都可以随便用。

常见问题

空的 Disallow 行是什么意思?

只写“Disallow:”而不加任何内容,表示“不禁止任何内容”——也就是说这个爬虫可以访问所有页面。这正是“允许全部”预设生成的效果。

robots.txt 真的能阻止页面被收录吗?

并不能完全保证——它只是要求遵守规则的爬虫不要抓取某个路径。即便被禁止抓取,页面仍可能因外部链接等原因被收录。要真正把页面排除在搜索结果之外,应使用 noindex 元标签或 HTTP 响应头。

我的内容会被上传到别处吗?

不会——一切都通过纯 JavaScript 在你的浏览器本地运行,你输入的内容不会发送到任何服务器。

相关工具

相关工具