这是收录排查里最常见的误解：把 robots.txt 当成邀请函。

它只是“不禁止”。不禁止，不代表会来。

robots 的实际作用

蜘蛛访问一个站点前，先取 /robots.txt，按 UA 段匹配规则。

匹配到 Disallow，就不抓对应路径。没有匹配，就默认允许。

它不控制抓取频率，不保证收录，也不影响已经收录的页面。

允许了却不来，查这五处

入口。新页面没有任何内链指向，sitemap 也没提交，蜘蛛不知道它存在。

站点深度。首页点五次以上才能到达的页面，抓取优先级很低。

服务器稳定性。经常超时、5xx，蜘蛛会主动降低频率。

内容重复。大量相似页面，抓几个就停。

抓取配额。大站的配额优先给重要页面，长尾页排不上。

三个容易写错的地方

Disallow: / 后面多一个空格，规则含义可能变化。

通配符 * 和结束符 $ 用错，封掉了整站。

多个 UA 段顺序不对，特定蜘蛛的规则被 User-agent: * 覆盖。

排查顺序

先用 蜘蛛模拟抓取 确认单页 200、正文完整。

再看内链距离、sitemap 是否包含、服务器日志里蜘蛛最近有没有来。

抓取是搜索引擎的调度决定，你能做的是把路修好，不能命令它走。