首页 站长工具

Robots检测工具

检测网站robots是否正确和是否正常屏蔽和开放地址。请输入网站域名不带http和/结尾。
规则 说明 状态
User-agent: 定义搜索引擎的类型
Disallow: 定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
Sitemap: http://xxxx.xx/sitemap.xml 
                
常用的搜索引擎类型有:
google蜘蛛:googlebot
百度蜘蛛:baiduspider
神马:Yisouspider
搜狗:sogou spider |  Sogou web spider
360:网页搜索 360Spider | 网页搜索 HaoSouSpider |  图片搜索 360Spider-Image | 视频搜索 360Spider-Video
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler