Indexing / 收录排查
为什么 Google 还没收录你的网站:别急着改标题,先理解索引流程
一篇解释 Google 收录路径的技术科普:从发现 URL、抓取、渲染、规范化、质量判断到新站信任建立,帮你判断问题到底卡在哪里。
Kiểm tra khả năng lập chỉ mục“网站上线了,但 Google 不收录”是新站最常见的焦虑。很多人第一反应是改标题、堆关键词、重新提交 sitemap,甚至怀疑是不是 AI 内容被惩罚。更实际的做法是先理解收录不是一个按钮,而是一条流程:Google 要发现 URL,决定是否抓取,读取和渲染页面,判断规范版本,评估是否值得进入索引,最后才可能带来搜索展示。任何一步卡住,结果看起来都像“没收录”。
第一步不是索引,而是发现 URL
Google 不会凭空知道一个新网站存在。它通常通过链接、sitemap、手动提交、外部引用或之前抓取过的域名发现 URL。新域名、没有外链、内部链接弱的网站,发现速度天然更慢。你提交了 sitemap,并不等于 Google 立刻抓取所有页面;它只是获得了一份候选 URL 列表。
所以新站早期要做的是增加可靠发现入口。确保 sitemap 可访问,首页链接到核心页面,教程页之间有自然内链,重要页面不是孤立 URL。如果一个页面只有你自己知道,没有出现在 sitemap、导航、相关文章或外部链接里,它被发现和重新抓取的机会都会更低。
能被发现,不等于会被抓取
发现 URL 后,Google 还要决定是否抓取。抓取预算不是只属于大型网站的话题。对新站来说,Google 也会谨慎分配抓取资源:站点是否稳定、响应是否快、是否大量重复页面、是否频繁返回错误,都会影响它愿意抓多少。
如果服务器偶尔超时、页面很慢、路由很多但内容相似,Google 可能先抓一部分再观察。AI 工具站如果一次性生成大量薄页面,尤其容易让抓取价值变低。比起急着提交更多 URL,先让核心页面稳定、快、内容明确,通常更重要。
robots、noindex 和状态码是最直接的拦路牌
排查未收录时,先看硬规则。页面是否返回 200?有没有 meta robots noindex?响应头里有没有 X-Robots-Tag: noindex?robots.txt 是否阻止了路径?这些信号比任何内容优化都优先。如果你告诉搜索引擎不要索引,它通常会照做。
AI/no-code 网站常见问题是开发期规则残留。预览环境为了安全加了 noindex,正式发布时没清掉;robots.txt 阻止了整个工具目录;Cloudflare 或托管平台加了错误响应头;页面在浏览器里能看,但爬虫拿到的是重定向链或错误状态。先排除这些,再谈内容质量。
canonical 会决定 Google 认为哪个 URL 才是正版
很多人看到“未收录”就以为 Google 不喜欢页面,其实可能是 Google 认为另一个 URL 才是规范版本。canonical 指向旧域名、带 slash 和不带 slash 混用、参数页互相指向、移动版和桌面版信号不一致,都会让 Google 重新选择代表 URL。
如果你的页面 canonical 指向别处,它即使被抓取,也可能不作为独立页面进入索引。新站尤其要保持简单:一个内容对应一个规范 URL,sitemap 里列这个 URL,内部链接也指向这个 URL,Open Graph 和 Schema 也用同一个 URL。信号一致,系统才更容易做决定。
渲染问题会让“用户看到的页面”和“Google 看到的页面”不同
现代网站经常依赖 JavaScript 渲染。用户等一两秒能看到完整内容,但搜索引擎第一次抓取 HTML 时可能只看到空壳、加载提示或很少文本。Google 能渲染 JavaScript,但渲染是后续步骤,不应该把核心内容完全赌在客户端执行上。
Nuxt、Next、Astro 等框架最好使用 SSR 或预渲染输出核心内容。no-code 平台则要检查线上源码或渲染结果:title、description、H1、正文、链接和 JSON-LD 是否真的出现在爬虫可见的页面里。页面能在你的浏览器里打开,不代表搜索系统第一时间拿到同样的信息。
Google 可能抓了,但决定暂时不索引
Search Console 里常见状态是“已抓取,尚未编入索引”或“已发现,尚未编入索引”。这不是一个具体错误,而是 Google 对资源分配和质量判断的结果。它可能觉得页面重复、内容薄、价值不明显、站点信号弱,或者暂时没有足够理由把页面放进索引。
这时继续提交 URL 通常帮助有限。更有效的是提高页面独特性:补充真实案例、解释工具边界、增加内部链接、把相似页面合并、删除低价值参数页。新站不需要一开始就有很多页面,反而需要少量清楚、有用、互相连接的页面。
AI 内容不是原罪,低信息增量才是问题
很多站长担心 Google 不收录是因为内容由 AI 生成。更准确地说,Google 关心的是内容是否有帮助、是否可靠、是否只是批量生成来占位。AI 可以参与写作,但如果页面只是改写网上已有内容、没有经验、没有具体判断、没有独特结构,就很难获得索引优先级。
对工具站和教程站来说,有价值的内容通常来自真实使用场景:什么时候用这个工具,输入错了会怎样,结果怎么判断,和替代方法相比有什么限制。把这些写出来,比单纯增加字数更有用。
把未收录当成诊断过程,而不是一次性故障
排查收录应该按顺序来:先确认 URL 被发现,再确认可抓取,再确认没有禁止索引,再看 canonical,再看渲染,再看内容价值和站点信任。这个顺序能避免你在错误层面浪费时间。比如 robots 阻止时,改标题没有意义;canonical 指错时,补 FAQ 也没用。
新站需要耐心,但耐心不是干等。你可以建立一张 URL 表,记录每个核心页面的 sitemap 状态、内部链接入口、Search Console 状态、最后抓取时间和你做过的修改。等数据积累起来,未收录就不再是玄学,而是一组可以逐步缩小范围的信号。