GPTBot 的 UA 长这样：Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)。

它发的是普通 HTTP 请求，不执行 JavaScript，不处理登录态。

一次实测

对 Cloudflare 官网发起抓取：GPTBot 返回 200，耗时 2,673ms，页面 1,048,576 字节，六项安全响应头齐全。

同一地址换 Baiduspider，返回 403 挑战页。

这说明两件事：第一，AI 爬虫和搜索蜘蛛的通行证不是同一张；第二，200 也不代表内容完整——工具在 1MB 处截断，正文后半段可能没返回。

三个检查点

robots.txt 有没有放行 GPTBot。写 Disallow: / 就等于主动拒绝。

WAF/CDN 有没有拦。看状态码和 server，403 通常停在边缘节点。

正文在不在初始 HTML。GPTBot 不跑 JS，CSR 页面在它眼里就是空壳。

200 之后还要看什么

看正文里有没有核心段落，不是看字节数。

大页面会被截断，正文可能刚好在截断之后。挑一个短内容页复测，或者直接看正文开头有没有实质信息。

抓取不等于引用

能被抓，只说明内容进了候选池。

能不能被引用，还看内容是否有明确结论、有数据、有可引用的句子。这是内容层的事，抓取工具解决不了。

用 蜘蛛模拟抓取 选自定义 UA 填 GPTBot，先确认它能拿到正文，再谈优化。