robots的全局限制为什么没拦住Googlebot?专用分组不会自动继承哪些规则?
一份robots里写了 User-agent: * 和 Disallow: /private/,又单独给Googlebot添加允许规则,结果可能与“全局限制对所有爬虫都有效”的直觉不同。专用分组会影响爬虫选择哪组规则,不能把不同分组简单叠加理解。
下面通过robots文件生成的三组实际输出说明。所有目录均为虚构演示,没有把文件上传到真实站点,也没有借此证明搜索引擎已经抓取或放弃抓取。
全局限制加上Googlebot专用允许
在限制目录中填写 /private/,“所有搜索引擎”选允许,再将谷歌选为允许,生成结果。去掉不影响语义的生成注释后,规则部分如下:
User-agent: *
Disallow:
Disallow: /private/
User-agent: Googlebot
Allow: /

按分组匹配规则,匹配到Googlebot专用组时,不会自动把星号组的 /private/ 禁止规则一并继承进去。专用组中的 Allow: / 允许全部路径,所以不能凭上面的全局限制认定Googlebot被禁止访问private目录。
空的 Disallow: 没有提供一个需要禁止的路径,也不会抹掉同组里明确写出的 /private/ 限制。真正改变Googlebot适用范围的,是后面出现的专用分组,而不是空行或字段先后顺序的神秘优先级。
把谷歌选回默认,观察生成文本
保持 /private/ 不变,仅把谷歌选项改回默认,再生成。本次结果不再出现Googlebot专用组,只保留星号组。没有更具体的适用分组时,Googlebot会按通配组规则处理这个目录限制。

这里的“默认”是生成器选项,不是“Google会按照自己喜欢的方式访问”。判断依据应是最终文件里实际出现哪些User-agent组,以及目标爬虫的匹配行为,而不是按钮名字本身。
如果不需要为某个爬虫提供不同待遇,让它使用统一规则往往更容易维护。确实需要专用组时,就把它需要遵守的路径规则完整写进相应组内;不要依赖跨组继承。
专用拒绝又会生成什么
再把谷歌改为拒绝,得到Googlebot组的 Disallow: /。这会请求匹配该组的爬虫不要抓取整个站点路径,范围远大于只限制 /private/。

若同一个爬虫标识匹配到多个相同适用程度的组,应按协议与目标爬虫文档处理合并;同组内具体路径的允许与禁止,还涉及最长匹配等规则。不要为了消除理解上的冲突,把所有Allow和Disallow跨组收集后统一排序。
Googlebot、Googlebot-Image等标识也不是随意替换的同义词。调整图片抓取规则前,先确认希望影响的爬虫种类及其官方匹配说明,不要把“Google”这个界面分类当作所有Google客户端的统一身份。
发布后核对文件,再看真实抓取
编辑完成,应访问对应协议、主机和端口下根路径的robots文件,检查最终返回内容、状态与跳转。生成器里看到新文本,不等于服务器已对外提供新文件;客户端缓存也可能让规则变更延后被观察到。
可以用蜘蛛模拟抓取核对某个公开URL返回的HTML或访问状态,但把UA改成Googlebot并发一次请求,并不能证明真正Google爬虫已读取这份robots或更新抓取计划。是否执行robots规范、是否读取缓存与是否收录,是另外几层问题。
robots属于爬虫访问约定,不能代替登录、权限校验或文件访问控制。如果private目录里有不该公开的内容,需要在服务端真正限制访问;一条禁止抓取规则不会让知道地址的人无法下载。