谷歌完全遵守robots协议，一旦robots设置屏蔽谷歌蜘蛛之后，谷歌就不会对网站进行抓取和索引，但是百度似乎并不严格遵守，当你给网站设置robots协议之后，百度蜘蛛有时会绕过/无视robots文件，仍然会继续爬行你的空间文件，当然这里只是说它们在爬行，没有放出来而已，但，我个人猜测，你的网站数据都完完整整的被百度记录在他们的服务器内，只是没有生成摘要在搜索结果页显示而已。当然啦，百度和淘宝之间的是是非非，又是另说，这篇博文对这个话题就先不展开了。总之，我的观点是，百度并不严格遵守robots协议。