如何用UA对照排查抓取待遇?先拨测确认抓取入口能正常访问
收录掉了,第一反应是被针对
站点收录数量下滑,同事第一句话就是「是不是被区别对待了」。
这个结论下得太早。抓取入口本身通不通,还没确认呢,顺序一错就容易白忙,还会冤枉平台。
先把入口确认清楚
这一步不做,后面全是猜,猜出来的结论没人认。
用一个最普通的 UA,请求目标 URL,看状态码是不是 200,这一点最基础也最常被跳过。
再看响应长度、首屏内容是不是正常页面,而不是验证页或空壳,空壳最难分辨,看着正常其实什么都没有。
入口本身就不通,后面所有对照都没有意义,先修这个再谈别的。

宝塔拨测工具盒:站长工具与 IT 工具入口
UA 对照怎么做
对照要控制变量,只留 UA 一个不同,多改一样就说不清是谁起的作用。
同一个 URL,只改 UA,其他条件尽量保持一致,时间、地区、参数都别动。
对照组用普通浏览器 UA,实验组用抓取 UA,两边都留原始响应。
用宝塔拨测的工具集里的蜘蛛模拟抓取和 UA 分析,比自己拼命令省事,也更容易复现,隔几天再来一次结果还能对上。
结果怎么读
三种结果,对应三种完全不同的下一步,别用一套动作应付所有情况。
状态码不同:403、429 或跳验证,这是明确的态度差异,可以直接记录。
状态码相同但长度差很多:可能返回了不同的页面版本,比如精简版或加载中页。
两者完全一致:说明这个入口没有区别对待,去查别的原因,别在这条路上耗。
常见误判
这三种误判,我至少犯过两种,代价都是白折腾一天。
只测了一次就下结论,没考虑临时的限流,测三次的结论和测一次完全不一样。
两组请求时间隔太久,中间站点已经变了,差异算谁的说不清。
用了带缓存的通道,两边拿到的都是旧内容,看着一样,其实都没看到真相。
复核与记录
能复现的结论,才拿得出去,也才敢写进报告。
至少对照两三轮,间隔开时间,别在同一分钟里连着测。
把 URL、UA、时间、状态码、长度记在一行里,五列就够,别搞复杂模板。
差别稳定存在,再谈申诉,材料也才站得住,否则对方一句「我这边正常」就把你顶回来。
先确认能访问,再谈待遇差异,这个顺序永远成立。
顺序对了,结论才有人信。
有人信,申诉才有意义。
这条链路走通一次,以后就成标准动作了。
标准动作能省掉很多无谓的争论。
争论少了,时间就省出来了。
时间省出来,可以多测几轮。
多测几轮,结论才更硬。