做 GEO 最容易跳过的一步，是确认 AI 爬虫到底进不进得来。

我拿 Cloudflare 官网做了一次对照：Baiduspider 返回 403，5,200 字节，标题是「Attention Required! | Cloudflare」；同一时间，GPTBot 返回 200，页面超过 1MB。

同一张页面，搜索引擎蜘蛛被拦，AI 爬虫放行。这不是配置错误，是 CDN 的 Bot 策略按 UA 分类处理。

三种拦截，位置不同

robots.txt：主动声明不许抓。爬虫会遵守，这是最容易查的一层。

WAF：按 UA、IP、行为判断。陌生 UA 容易被当成扫描器。

CDN 的 AI 爬虫开关：有些平台提供“允许/阻止 AI 抓取”的选项，默认值不一定符合你的预期。

前两种是技术拦截，第三种是策略选择。三种都要确认。

怎么测

在工具里选自定义 UA，分别填 GPTBot、ClaudeBot、PerplexityBot。

看三样：状态码、字节数、正文里有没有核心段落。

403 查 WAF 和 CDN；200 但只有几 KB，查渲染；200 且正文完整，才说明可访问性没问题。

别忽略反向情况

也有站点反过来：搜索引擎放行，AI 爬虫全拦。

如果你的目标是 AI 搜索引用，这种配置等于主动退出。如果不是，拦掉也合理，但要清楚代价。

用 蜘蛛模拟抓取 把三个 AI 爬虫各跑一次，再和 Baiduspider 对照。差异本身就是结论。