同一个站点,PC 和移动抓取结果不同,正常吗?

取决于差异从哪来。

一组实测

新浪首页,桌面 Baiduspider:200,402,601 字节,标题「新浪网」。

换移动 UA:3 次跳转,最终落到 sina.cn,142,684 字节,标题「手机新浪网」。

URL 变了、内容量变了、标题也变了。这是独立移动站的正常表现,不是故障。

什么差异算正常

响应式站点:HTML 基本相同,只是 CSS 不同,抓取结果应一致。

独立移动站:URL 不同、内容有裁剪,但核心正文对等。

移动端少了侧栏、推荐位,正文还在,合理。

什么差异是问题

移动端 403 或跳回首页。跳转逻辑没放行蜘蛛 UA。

移动端正文为空。移动模板用 JS 渲染,PC 是直出。

移动端 TDK 是默认值。模板没适配。

移动端被 App 下载弹窗挡住。蜘蛛也读不到内容。

为什么必须单独测

Google 是移动优先索引,百度移动搜索流量占比也高。

移动端抓不到,等于主入口有问题。PC 正常反而会掩盖它。

怎么测

分别用桌面和移动 UA 抓一次,记录四样:状态码、最终 URL、字节数、标题。

再看跳转次数。三次跳转和零次跳转,背后是两种架构。

用 蜘蛛模拟抓取 跑两端,差异列出来,再判断是适配还是故障。