宝塔拨测
-
蜘蛛能抓到，不等于用户能看到：对照一次就清楚了
蜘蛛抓到的和用户看到的可能完全不同：登录墙、地域限制、AB 测试、App 拦截都会造成断层。用蜘蛛视角抓一次，再用无痕浏览器走一遍，才能发现差异。
-
别只看 UA 判断蜘蛛真假，抓一次比猜十次准
UA 是最容易伪造的请求头，curl -A 一行就能冒充 Baiduspider。验真要看 IP 段和正反向 DNS；模拟抓取只能验证这个 UA 能拿到什么，不能证明身份。
-
日志里蜘蛛很多，收录却没涨：抓取量不等于收录量
蜘蛛抓取量涨，不代表收录涨。先算三个比例：有效内容页占比、2xx 占比、被抓页面中已索引的比例。参数页和重复页会吃掉大部分抓取配额。
-
移动端和 PC 端抓取结果不同，正常吗
实测新浪：桌面 Baiduspider 拿到 402KB 的 www 页面，移动 UA 连续 3 次跳转到 sina.cn，142KB、标题变成「手机新浪网」。移动抓取必须单独测。
-
蜘蛛模拟抓取和 Search Console 有什么区别
模拟抓取是你模仿 Googlebot 发请求，Search Console 是 Google 自己记录的数据。前者看即时响应，后者看抓取、渲染和索引结果，两者结论经常不一致。
-
为什么百度蜘蛛抓到的正文是空的
百度蜘蛛抓到空正文，通常不是它不执行 JS，而是初始 HTML 里就没有正文。CSR、懒加载、接口鉴权、iframe 嵌套是四类主因，先确认空在哪一层再改。
-
蜘蛛抓取正常但页面不收录，问题出在哪
抓取正常只说明蜘蛛拿到了页面，收录还要过质量、重复度、canonical 和索引策略几道关。先分清是被抓、被索引，还是被展现，再决定查哪里。
-
robots.txt 允许抓取，蜘蛛为什么还是不来
robots.txt 只规定“不许抓”，不承诺“会来抓”。允许抓取后蜘蛛仍不来，通常是入口、sitemap、服务器稳定性或抓取配额的问题，不是 robots 写错了。
-
蜘蛛抓取返回 403：是网站封了搜索引擎吗
403 至少分三种：WAF 挑战页、源站拒绝、CDN 频率限制。知乎 403 只有 214 字节空正文，Cloudflare 403 是 5.2KB 挑战页，处理方式完全不同。
-
给 AI 搜索做体检：先确认爬虫能拿到正文
AI 搜索体检的顺序应该是：robots、CDN/WAF、渲染、响应头。任何一项不过，内容优化都没有意义。实测中搜索蜘蛛被拦、AI 爬虫放行的情况真实存在。
