日志里 Baiduspider 一天几千次，收录数半年没动。

这两件事不矛盾。抓取是“我来看看”，收录是“值得存”。

先算三个比例

有效内容页占比：抓取的 URL 里，有多少是真正想被收录的页面。

2xx 占比：多少请求返回 200。大量 404、503，说明蜘蛛在撞墙。

已索引比例：抽样 100 个被抓 URL，用 site: 查有多少进了索引。

三个数出来，问题基本定位。

配额被谁吃了

参数页。?page=、?sort=、?utm= 组合出无限 URL。

筛选页。颜色、价格、地区组合，每个组合一个地址。

站内搜索结果页。可被抓取，但内容重复。

日历、标签、作者归档。大量薄内容。

这些页面抓得越多，内容页分到的配额越少。

怎么改

robots 屏蔽无价值参数，canonical 收敛重复页，sitemap 只放需要收录的 URL。

内链优先指向内容页，别让蜘蛛在垃圾页里打转。

怎么验证

从日志抽 20 条 URL，用 蜘蛛模拟抓取 看返回的是正文还是空壳/重复页。

如果蜘蛛一直在抓低价值页面，收录不涨就很好解释。先把抓取引到内容页，再谈增长。