Robots 輸入
工具會先選擇最具體的 user-agent 分組,再用最長匹配路徑判斷最終規則。
網站上線控制
貼上 robots.txt,輸入 URL,清楚看到哪一條 Allow 或 Disallow 規則最終生效。
工具會先選擇最具體的 user-agent 分組,再用最長匹配路徑判斷最終規則。
沒有匹配的 user-agent 分組,預設允許抓取。
請貼上 robots.txt,用來展示規則匹配過程。
規則按匹配長度排序;長度相同時,Allow 優先於 Disallow。
# Robots 規則衝突視覺化器 - User-agent: googlebot - URL path: /private/public/report - 選中的 user-agent 分組: - - 最終判斷: 允許抓取 - Winning rule: none ## 命中規則 - None ## 提醒 - 請貼上 robots.txt,用來展示規則匹配過程。