收录排查 / 索引规则
noindex、robots.txt 和 sitemap 为什么会互相打架
用一篇技术科普讲清楚 noindex、robots.txt、canonical 和 sitemap 各自负责什么，为什么配置冲突会让页面明明上线却难以被收录。
检查可索引性很多收录问题看起来像 Google 反应慢，实际上是网站自己给了搜索引擎互相矛盾的指令：sitemap 里说“请抓这个 URL”，robots.txt 又说“不要进这个目录”，页面里还写着 noindex，canonical 可能再指向另一个地址。搜索引擎不是不能处理冲突，但冲突越多，它越可能选择保守处理。
先分清：robots.txt 管抓取，noindex 管索引
robots.txt 位于站点根目录，主要告诉爬虫哪些路径不要抓取。它解决的是“能不能进门看页面”的问题。noindex 则出现在页面 meta 或响应头里，告诉搜索引擎“你可以看到这个页面，但不要把它放进索引”。两者经常被混用，但它们的工作层级完全不同。
最危险的配置是：你在 robots.txt 里阻止了页面，又希望页面上的 noindex 生效。问题是，如果爬虫不能抓取页面，就可能看不到页面里的 noindex。于是这个 URL 可能因为外部链接被发现，却没有足够信息被正确处理。想让 noindex 生效，通常要允许抓取页面，让搜索引擎能读到这条指令。
sitemap 不是命令，而是一份候选 URL 清单
sitemap 的作用是告诉搜索引擎“这些 URL 值得你发现和考虑”。它不是索引保证，也不是抓取命令。如果 sitemap 里放了 noindex 页面、重定向页面、404 页面、canonical 指向别处的页面，搜索引擎会收到混乱信号：你一边推荐它，一边又说它不是可索引版本。
一个健康的 sitemap 应该尽量只包含你希望被索引的规范 URL。不要把搜索结果页、筛选参数页、后台页、草稿页、预览页塞进去。sitemap 越干净，搜索引擎越容易把它当成可信发现入口。
canonical 是“哪个版本代表内容”的声明
canonical 经常和 noindex、sitemap 一起制造冲突。假设 A 页面在 sitemap 里，A 页面 canonical 指向 B 页面，这等于告诉 Google：A 可以被发现，但 B 才是正版。如果 A 的内容确实是重复版本，这没问题；如果 A 是你真正想收录的页面，这就是错误。
更复杂的情况是 canonical 链条和重定向混在一起：A canonical 到 B，B 重定向到 C，sitemap 里却列 A。搜索引擎通常会自己选择规范版本，但你给的信号越绕，处理越慢。新站最好避免这类链条，让 sitemap、内部链接、canonical 和最终状态码指向同一个 URL。
预览环境规则最容易被带到正式站
no-code 和 AI 建站平台常常会保护预览页，避免未完成内容被收录。这通常通过 noindex、robots 阻止或临时域名完成。问题出现在正式上线后：模板、环境变量或全局设置没有切换，导致正式域名仍然继承预览规则。
上线后不要只看页面能否访问。应该检查正式 URL 的源代码、响应头和 robots.txt。尤其是 X-Robots-Tag 响应头，它不显示在页面里，却能让整个 HTML、PDF 或图片资源不被索引。很多人只查 meta robots，漏掉了响应头。
冲突配置会消耗抓取和判断成本
搜索引擎不是看到一个小冲突就立刻惩罚你，但冲突会增加判断成本。一个新站本来信号就少，如果 sitemap 推荐的 URL 经常被 robots 阻止、canonical 指走、返回重定向或标记 noindex，Google 会更难判断哪些页面是你真正重视的。
这会影响抓取效率，也会影响你自己的排查效率。Search Console 里出现“已发现未抓取”“备用网页，含有适当的规范标记”“被 robots.txt 阻止”“排除 noindex”等状态时，如果站内规则混乱，你很难知道哪个是根因。
电商、工具站和教程站的策略不一样
不是所有页面都应该被索引。电商筛选参数页、站内搜索页、登录页、排序页、重复标签页，通常需要谨慎处理。工具站则要确保核心工具页和教程页可索引，但临时生成结果页、用户私有内容和低价值参数页不应该进 sitemap。
关键是先定义页面类型，再定义规则。核心内容页：允许抓取、允许索引、放入 sitemap、自指 canonical。重复或低价值页：可以 noindex 或 canonical 到主版本。敏感或无意义路径：robots 阻止抓取。不要反过来先写一堆规则，再猜它会影响哪些页面。
排查时按信号优先级走，不要同时乱改
如果一个页面不收录，先看状态码和重定向，再看 robots.txt 是否允许抓取，再看 meta robots 和 X-Robots-Tag，再看 canonical，最后看 sitemap 是否包含。这个顺序能帮你识别最硬的阻断信号。不要同时改 robots、canonical、sitemap 和页面内容，否则后面很难判断是哪一步起作用。
每次修改后，记录修改时间和影响 URL。对于重要页面，可以在 Search Console 请求重新检查，但不要把重新提交当作万能修复。请求重新抓取只是让 Google 更快看到变化，不会把一个冲突页面变成高质量页面。
健康的索引规则应该让搜索引擎不用猜
理想状态很朴素：你想收录的页面，返回 200，允许抓取，没有 noindex，自指 canonical，出现在 sitemap，并且有内部链接指向。你不想收录的页面，要么不放 sitemap，要么明确 noindex，要么 canonical 到更合适的版本；敏感路径才用 robots 阻止。
当规则一致时，搜索引擎处理网站会更顺，你自己排查也更轻松。SEO 技术基础很多时候不是高级技巧，而是减少矛盾。让每个 URL 的意图清楚，Google 才更容易决定它该不该进入索引。