Robots 输入
工具会先选择最具体的 user-agent 分组,再用最长匹配路径判断最终规则。
网站上线控制
粘贴 robots.txt,输入 URL,清楚看到哪一条 Allow 或 Disallow 规则最终生效。
工具会先选择最具体的 user-agent 分组,再用最长匹配路径判断最终规则。
没有匹配的 user-agent 分组,默认允许抓取。
请粘贴 robots.txt,用来展示规则匹配过程。
规则按匹配长度排序;长度相同的时候,Allow 优先于 Disallow。
# Robots 规则冲突可视化器 - User-agent: googlebot - URL path: /private/public/report - 选中的 user-agent 分组: - - 最终判断: 允许抓取 - Winning rule: none ## 命中规则 - None ## 提醒 - 请粘贴 robots.txt,用来展示规则匹配过程。