宝塔拨测
robots.txt 怎么写？Disallow 了页面为什么百度谷歌还收录
robots.txt 是网站根目录下给搜索引擎蜘蛛看的抓取规则文件：Disallow 只阻止抓取、不保证不收录，要彻底不收录得用 noindex。本文讲清 User-agent、Disallow、Allow、Sitemap 四个字段怎么用，并用 bt.cn、taobao.com、baidu.com 三个真实 robots.txt 对照，最后用宝塔拨测的蜘蛛模拟抓取验证蜘蛛视角。
阅读全文 →全部标签 /
站长工具
- 宝塔拨测
怎么模拟搜索引擎蜘蛛抓取网页？用宝塔蜘蛛模拟抓取看 HTTP 响应和 TDK
想知道百度、谷歌等搜索引擎蜘蛛抓取网页时看到什么，用宝塔蜘蛛模拟抓取（t.bt.cn/tools/spider-crawl.html）选蜘蛛类型访问网页，即可查看 HTTP 状态、响应时间、TDK 信息和安全响应头。本文实测 www.qq.com 返回 200、配了 2 项安全响应头，www.baidu.com 返回 200、未配安全响应头。
阅读全文 →