现在做内容的人都在关心「怎么被 AI 引用」，但很少人先问一句：AI 的爬虫能进得来吗。

进不来，后面所有优化都是白做。

AI 爬虫和搜索引擎爬虫不一样

GPTBot、ClaudeBot、PerplexityBot 这些，抓取能力比 Googlebot 弱。

它们基本不执行 JavaScript，也不带 Cookie。SPA 站点如果内容是前端渲染出来的，抓到的就是一个空壳。

被拦住的两个常见原因

robots.txt 写了 Disallow。 有些站点为了防采集，把 User-agent: * 全禁了，顺带把 AI 爬虫也拒了。想被引用，得单独放行。

WAF 按 UA 拦。 很多防护策略会拦「不认识的爬虫」。表现是 AI 爬虫来了直接被 403，而你在浏览器里看一切正常。

怎么验证

用高级选项把 User-Agent 换成 GPTBot 或者 PerplexityBot，测一次。

返回 200，说明门是开的。返回 403，是 WAF 拦的。返回 200 但内容很短，说明页面依赖 JS 渲染。

三种结果，对应三种修法。

修法

放行 robots 里的对应 UA，WAF 里加白名单，服务端渲染或者做静态化，让 HTML 里就有正文。

顺带说一句 llms.txt

这是给大模型看的站点说明文件，放在根目录。目前不是标准，但成本极低，写了不吃亏。内容写清楚你是谁、有哪些重要页面。

一个判断

如果你的流量依赖搜索，未来也会依赖 AI 引用。这两件事的前提是「能被抓」。

先测可达性，再谈内容质量。顺序别反。

换 UA 测一次，用 网站测速 的高级选项，两分钟能出结论。