备案老域名

谷歌完全遵守robots协议，一旦robots设置屏蔽谷歌蜘蛛之后，谷歌就不会对网站进行抓取和索引，但是百度似乎并不严格遵守，当你给网站设置robots协议之后，百度蜘蛛有时会绕过/无视robots文件，仍然会继续爬行你的空间文件，当然这里只是说它们在爬行，没有放出来而已，但，我个人猜测，你的网站数据都完完整整的被百度记录在他们的服务器内，只是没有生成摘要在搜索结果页显示而已。当然啦，百度和淘宝之间的是是非非，又是另说，这篇博文对这个话题就先不展开了。总之，我的观点是，百度并不严格遵守robots协议。　

一旦我们决定了要使用的数据存储机制，另一个重要的问题又接踵而至，即如何将数据从某地传输到另一地。这里，可能只有一套方案能满足将来的需求。随着时间的推移，毫无疑问，我们将越来越迫切地需要与其他系统和组织的借口，因此，一套标准的数据转换格式也就必不可少。现在我们的选择显然应该是XML。XML独立于平台、应用程序和操作系统，因此也就提供了最好的合作机会。而且通过现在或近期内可用的工具，我们可以根据需要将XML文档转化为任何其他格式的文档——通常是将非XML文档或数据转换为XML文档。

因此，如果数据的传输协议和格式是基于XML的，且可利用任何现有的或新的技术来进行数据存储和处理，那么我们正在所需要的是一种稳定、可靠且使用范围极广的技术，用其来连接各种类型的数据存储，并处理各种类型的数据。而.NET Framework中就提供了对关系型和XML型的数据访问技术的组合。我们可以使用.NET数据访问类来连接几乎所有类型的数据存储。而且，只要提取了数据，我们就可以随意将这些数据在XML和传统的关系型行集格式之间转换。事实上，microsoft公司的BizTalk Server和其他相似的系统几乎可以在所有类型的网络上处理数据传输，并确保以XML格式提交数据，或者将数据转换为其他格式，并将其他格式转换为它的格式。