宝塔拨测
-
GPTBot 抓取模拟：AI 搜索引用你的前提
GPTBot 抓的是服务器返回的 HTML，不执行 JS。实测某 CDN 官网 GPTBot 拿到 200、1MB 页面，但工具会在 1MB 截断，正文是否完整要单独确认。
-
AI 爬虫抓得到你的站吗：用蜘蛛模拟抓取验一次
Cloudflare 官网实测：Baiduspider 403、GPTBot 200。搜索蜘蛛能抓不代表 AI 能抓，CDN Bot 策略按 UA 放行。
-
自定义蜘蛛 UA 怎么选：百度、Google、Bing 的抓取差异
UA 不是身份，是服务器用来分流的一个字符串。实测同站不同 UA，字节数从 227 到 17KB，甚至出现 429。选错 UA，测出来的结论会完全跑偏。
-
用 Googlebot 抓一次：JS 渲染的内容它到底看不看得到
Googlebot 抓取分两步：先拿 HTML，再排队渲染。模拟抓取只复现第一步。原始 HTML 有内容不代表渲染没问题，没有内容也不代表 Google 一定看不到。
-
百度蜘蛛抓取模拟：页面收录慢，先查这一步
百度收录慢，先看 Baiduspider 拿到多少字节。实测同一站点，百度蜘蛛 2.4KB、Googlebot 17KB，差异来自 UA 分流或渲染，不是“百度不收录”能解释的。
-
蜘蛛模拟抓取能看什么：响应、TDK、安全头和正文
结果页里最该看的不是状态码，而是 body_bytes、server、redirect_count、TDK 和正文。一个 403 也可能返回 5KB 的拦截页，只看状态码会误判。
-
蜘蛛模拟抓取怎么用：一次看清搜索引擎拿到什么
同一个 URL，用百度、Google、Bing 蜘蛛各抓一次，返回的字节数可能差十倍。这个工具的价值不是看能不能打开，而是对照不同 UA 拿到的内容差异。
