返回
robots.txt 检查器
检测页面是否被 robots.txt 允许收录，展示命中的 Allow/Disallow 规则
使用说明
用途检测某个页面是否被 robots.txt 允许收录，并展示命中的 Allow/Disallow 规则。
怎么用输入要检测的页面网址 → 可选指定蜘蛛（百度/Google 等）→ 点「检查」。
什么时候用页面不被收录时排查 robots 拦截、上线新目录前确认规则。
注意未指定蜘蛛时按通用 * 组规则判断；指定蜘蛛时其具体组覆盖 * 组（RFC 9309）；未找到 robots.txt 视为全部允许。
robots.txt 检查器 使用指南
robots.txt 检查器是一款免费在线工具，检测页面是否被 robots.txt 允许收录，展示命中的 Allow/Disallow 规则，无需下载安装、无需注册登录，打开网页即可使用，输入内容仅在浏览器本地处理。
常见问题
Q：robots.txt 检查器收费吗？
完全免费，且无需注册账号，打开页面即可使用。
Q：使用robots.txt 检查器会泄露我的数据吗？
不会。该工具的所有计算都在你的浏览器本地完成，输入内容不会上传到服务器。
Q：手机、平板上能用吗？
可以。页面自适应手机、平板与电脑，浏览器打开即用，无需安装 App。
Q：为什么我的操作没有得到结果？
请检查输入内容是否符合格式要求。正确用法：输入要检测的页面网址 → 可选指定蜘蛛（百度/Google 等）→ 点「检查」。仍有问题可通过页面底部的联系方式反馈。
使用提示
- 未指定蜘蛛时按通用 * 组规则判断；指定蜘蛛时其具体组覆盖 * 组（RFC 9309）；未找到 robots.txt 视为全部允许。
- 处理结果可通过「复制结果」一键复制，或用「下载 TXT」保存到本地。