588创业论坛

标题: 谨慎开启GZip加速可能影响百度蜘蛛抓取 [打印本页]

作者: 农民站长 时间: 2009-4-1 10:21
标题: 谨慎开启GZip加速可能影响百度蜘蛛抓取
GZip是“GNU Zip”的缩写，是由Jean-loup Gailly开发的压缩方式。“GZip加速”就是在页面由服务器传送向客户端之前先用GZip压缩，然后到客户端再进行解压操作，由于传输数据量大大减小，下载速度当然有所提高。不过目前宽带已经普及，这种技术并不会带来明显的速度提升。

由于该项功能需要在客户端进行解压缩，所以就需要搜索引擎蜘蛛可以正确的解压缩才能分析网页中的内容，如果解压缩失败，那就会导致搜索引擎蜘蛛抓取失败，对此GZip的问题我进行了一次试验。

这次我的试验用了6个网站，网站都是保持每日更新，虽然不是原创，但是都是人工选择性复制，并且进行标题修改。其中有3个是我自己的，都放在了门户通的服务器上(开启了GZip)，一个是客户的，放在他自己的服务器中(开启了GZip)，还有两个也是客户的，放在购买的虚拟主机中(没开启GZip)，经过两个多月的收录分析，开始收录都正常，每周都保持增长，但在上周三大更新，开启了GZip的4个站点，百度收录都降低了60%左右，没开启GZip的两个站点收录大幅增长，这个周三大更新，开启了GZip的4个站点，其中一个收录只剩下了主页，其余三个收录减少大约30页左右，没有开启GZip的两个站点收录依旧大幅增长;这6个站点谷歌收录都非常正常，没有出现任何大波动，都平稳的提高收录。

基于此次试验，初步的验证结果是谷歌可以完美的支持GZip压缩，百度支持的并不太好，我估计可能是因为有的服务器压缩率过大可能导致蜘蛛的识别失败，所以导致了服务器日志中大量的出现200 0 64记录，以前我们对于200 0 64问题讨论过很久，都没有一个最终的结论，现在看来因为Gzip引起的可能性很大。

目前我已经将放在门户通的网站转移到了没有开启GZip的服务器中，我会持续保持观察，看看转以后的收录情况是否会有好转。

监测下服务器是否开启了GZip的方法是随便选择该服务器中的一个网站用“GZip检测工具”检查下即可知道结果。

如果你的站也出现了收录大幅下滑的症状，建议你去检测下，看看是不是也开启了GZip压缩功能，如果是，请您留言回复，把您的网址告诉我，我希望可以收集更多的案例。

作者：孙运坤

欢迎光临 588创业论坛 (http://bbs.588cy.com/)