588创业论坛

 找回密码
 快速注册
搜索
查看: 1937|回复: 0
打印 上一主题 下一主题

Robots.txt 错误检查器

[复制链接]
匿名
跳转到指定楼层
1
匿名  发表于 2011-9-7 11:40:21 |倒序浏览
下面推荐的这两个Robots.txt 错误检查器网站,两者实力相当,都可以发现robots.txt文件中的问题,并且还能发现不可见的错误。他们甚至还可以对文件中的隐藏代码作出解释,这些文件可以对搜索引擎爬虫产生影响。

http://tool.motoricerca.info/robots-checker.phtml
http://www.frobee.com/robots-txt-check


您需要登录后才可以回帖 登录 | 快速注册

Archiver|手机版|588创业网 ( 闽ICP备08003622号-6 )

GMT+8, 2024-11-14 14:50 , Processed in 0.188796 second(s), 24 queries .

Powered by bbs.588cy.com

© 2001-2012 Discuz! X2.5

回顶部