蜘蛛能抓到,不等于用户能看到:对照一次就清楚了
收录正常,排名也有,用户点进来却立刻跳走。
这时候该看的不是蜘蛛,是用户。
两个视角的差别
蜘蛛拿到的是服务器返回的 HTML。用户看到的是浏览器渲染、接口请求、交互之后的完整页面。
中间隔着 JS 执行、登录态、地域判断、AB 测试、Cookie 分流。任何一层都可能让两边不一样。
四种常见断层
登录墙。蜘蛛能读全文,用户只能看摘要。
地域限制。蜘蛛节点在允许区域,用户不在。
AB 测试。蜘蛛被分到 A 版,用户看到 B 版,标题和价格都不同。
App 拦截。移动端强制下载 App,蜘蛛能读,用户读不到。
哪种算 cloaking
故意给蜘蛛和用户不同内容,以操纵排名,属于违规。
技术原因无意造成的差异,不算 cloaking,但同样伤体验。
区别在意图,不在结果。
怎么对照
用蜘蛛 UA 抓一次,记录标题、正文、关键信息。
再用无痕浏览器、不同地区网络、未登录状态各看一次。
对比三样:首屏内容、核心信息、有没有阻断。
实测中 UA 分流很常见:某站点 Baiduspider 拿到 250KB,Googlebot 直接 429。服务器对不同 UA 的待遇可以差这么多,用户和蜘蛛之间同样可能有断层。
用 蜘蛛模拟抓取 拿到蜘蛛视角,再亲自走一遍用户路径。只测一边,永远发现不了。