谷歌完全遵守robots协议,一旦robots设置屏蔽谷歌蜘蛛之后,谷歌就不会对网站进行抓取和索引,但是百度似乎并不严格遵守,当你给网站设置robots协议之后,百度蜘蛛有时会绕过/无视robots文件,仍然会继续爬行你的空间文件,当然这里只是说它们在爬行,没有放出来而已,但,我个人猜测,你的网站数据都完完整整的被百度记录在他们的服务器内,只是没有生成摘要在搜索结果页显示而已。当然啦,百度和淘宝之间的是是非非,又是另说,这篇博文对这个话题就先不展开了。总之,我的观点是,百度并不严格遵守robots协议。