咱们已经多次提到搜索引擎运行规则的指导思想——就是现在有的技术条件下（搜索引擎技术在不断的进步创新），利用自身有限的资源，尽全力为使用其的用户提供最有效的内容，提升用户的满意度。在结合自身条件的前提下为民服务。
当然了，搜索引擎在提升自身服务的时候也会遵循互联网的规则。比如说，人家的网页内容是不乐意让你抓取的，你就不能抓取，或者人家是付费查看信息或者人家是希望保密的信息，所以这些信息是不可以抓取的。那搜索引擎是怎么知道哪些页面是可以抓取，哪些页面是不可以抓取的呢？
谷歌，雅虎，百度，他们都共同遵循搜索引擎协议——这个协议就是robots协议。在robots协议的框架内，搜索引擎按照每个网站主给与自己的权限来抓取网站。这就需要我们每一个网站都跟搜索引擎进行对话了。一个普通的网站也可以跟搜索引擎进行对话了，是不是感觉很神奇。其实完全没有必要，每一个网站都是搜索引擎的衣食父母，只不过这个衣食父母的数量显得有点多了。
言归正传：robots协议怎么来写呢？其实在谷歌的帮助当中都有明确的讲述。
以下部分是从谷歌黑板报引用过来的内容：
如何放置Robots.txt文件
robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效，因为漫游器只在域名的根目录中查找此文件。例如，http://www.bggoogle.com/robots.txt 是有效位置，http://www.bggoogle.com/mysite/robots.txt 则不是。
这里举一个robots.txt的例子:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/
使用 robots.txt 文件拦截或删除整个网站， 要从搜索引擎中删除您的网站，并防止所有漫游器在以后抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：
User-agent: *
Disallow: /
要只从 Google 中删除您的网站，并只是防止 Googlebot 将来抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：