Robots.txt 生成工具
配置网站目录、Sitemap 及各类搜索引擎访问规则，生成标准 robots.txt 文件。
基础配置
设置网站爬虫访问范围 每个路径之前都要包含："/"
谷歌为 xml 格式，百度为 html 格式
搜索引擎规则
按搜索引擎类型分别设置访问策略国内搜索引擎
百度
SOSO
搜狗
有道
国外搜索引擎
谷歌
Bing
雅虎
Ask/Teoma
Alexa/Wayback
Cuil
MSN Search
Scrub The Web
DMOZ
GigaBlast
特殊搜索引擎（机器人）
Google Image
Google Mobile
Yahoo MM
Yahoo Blogs
MSN PicSearch
生成结果
生成后复制并保存为 robots.txt
请将以下结果保存到记事本，命名为 robots.txt 上传到网站根目录
# 点击「生成」按钮生成 robots.txt 内容