工具里那排蜘蛛类型，选错一个，后面的判断全废。

因为 UA 会改变服务器返回的内容。

一组三角对照

同一个百度首页：

Baiduspider：200，2,443 字节。

Googlebot：200，17,143 字节。

bingbot：200，227 字节，内容是一段 JS 跳转。

同一个 URL，三种输出。如果只测 bingbot，你会得出“百度首页是个空壳”的结论，显然是错的。

UA 还会改变跳转

实测新浪首页：桌面 Baiduspider 拿到 402KB，标题「新浪网」；换成移动 UA，连续 3 次跳转，落到 sina.cn，142KB，标题「手机新浪网」。

这不是故障，是移动适配。但如果只测桌面，你永远不知道移动端被跳去了哪。

怎么选

做百度收录，选 Baiduspider，再补一次移动 UA。

做 Google，选 Googlebot，注意桌面和 Smartphone 是两个 UA。

做 Bing 或 AI 搜索，选 bingbot，或者自定义 GPTBot、ClaudeBot。

想验证 WAF 是否过严，填一个陌生 UA，看是否被拦。

一个限制

UA 可以随便填，但真实蜘蛛还有 IP 和反向 DNS。

有些站点做双向验证，UA 对、IP 不对照样拒绝。模拟抓取会失败，真实蜘蛛可能是通的。所以它验证的是“这个 UA 能不能拿到内容”，不是“官方蜘蛛一定会来”。

用 蜘蛛模拟抓取 时，至少跑目标搜索引擎加一个对照 UA，别拿单一结果下结论。