蜘蛛抓取正常但页面不收录,问题出在哪
日志里有蜘蛛,模拟抓取也是 200,搜索里就是没有。
因为抓取和收录是两道门。
三个状态要分开
被抓取:蜘蛛来过,拿到了 HTML。
被索引:内容进了数据库,有资格参与排名。
被展现:关键词有排名,用户能搜到。
大多数“不收录”的抱怨,其实混了后两个。
先做三个检查
site:你的域名 页面关键词,看能不能搜到。搜不到,才是真没索引。
Search Console 的网址检查,看“已抓取,尚未编入索引”还是“已编入索引”。
百度搜索资源平台的索引量,看是单个页面问题还是整站下降。
常见原因
内容质量不够。信息量低、拼接、批量生成且无增量。
重复度高。站内多个页面讲同一件事,或与网上已有内容高度重合。
canonical 指向别处。页面自己声明正版在另一个 URL。
noindex 没去掉。HTML meta 或响应头里还留着。
站点权重低。新站收录比例天然低,和单页优化无关。
手动处罚。后台会有通知,别忽略。
一个判断
如果只有个别页面不收录,查该页的 canonical、noindex、内容重复。
如果整站都不收录,查站点质量、robots、服务器稳定性和处罚记录。
用 蜘蛛模拟抓取 只能排除抓取层,剩下的要靠索引数据和内容判断。