GEO 的讨论大多集中在内容怎么写，很少人先确认爬虫能不能进来。

顺序反了，后面的工作全白做。

四项体检，按否决权排序

第一，robots.txt。目标爬虫有没有被 Disallow，sitemap 是否指向最终域名。

第二，CDN 和 WAF。Bot 策略是按 UA 分类的，搜索引擎放行不代表 AI 爬虫放行，反过来也成立。实测某 CDN 官网就是 Baiduspider 403、GPTBot 200。

第三，渲染方式。正文在初始 HTML，还是靠 JS 后加载。AI 爬虫基本不执行 JS。

第四，响应头。X-Robots-Tag: noindex 比 HTML 里的 meta 更隐蔽，很多人查不到。

每项怎么验

robots：直接访问 /robots.txt，搜目标 UA 段。

CDN：用自定义 UA 抓一次，看状态码和 server。

渲染：看抓取结果正文里有没有核心段落，不看字节数。

响应头：看返回头有没有 noindex、Content-Type 是否正确。

为什么先做这四项

它们都是一票否决。

内容质量再高，被 robots 禁止等于不存在；被 WAF 拦等于不存在；正文靠 JS 渲染，对多数 AI 爬虫也等于不存在。

先把否决项排掉，再谈结构和表达。

体检不是一次性的

换 CDN、调 WAF、改版、迁移服务器，都可能把通道弄断。

每次基础设施变更后，用 蜘蛛模拟抓取 把 GPTBot、ClaudeBot、Baiduspider 各跑一遍，十分钟能完成，比出事后再回滚便宜。