作为网站管理员工具的一部分，Google提供了robots.txt分析工具。它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件，并且可为 Google user-agents（如 Googlebot）提供结果。我们强烈建议您使用它。 在创建一个robots.txt文件之前，有必要考虑一下哪些内容可以被用户搜得到，而哪些则不应该被搜得到。 这样的话，通过合理地使用robots.txt, 搜索引擎在把用户带到您网站的同时，又能保证隐私信息不被收录。
谷歌黑板报引用内容结束
以上部分主要是讲述专门针对谷歌的——Goolgebot，书写robots协议的办法，当然了，作为谷歌来讲他只能讲他自己。代言别人就不好了，他不讲，我就做一下补充：
其实以上讲述的很详细，如果你想写针对百度的robots协议的话，把其中的Goolgebot全部改成baiduspider，其他的内容完全可以上边说的写，不用改。
关于各个搜索引擎蜘蛛的名字咱们在前面的“搜索引擎怎么让其数据库里面涵盖互联网所有信息”里面，已经列举一个表格，把各个搜索引擎机器人的名字都写出来了。
淘宝给百度的robots协议自己去淘宝看看吧。我昨天列出这个协议，今天百度就把网站的首页给弄没了。只能对百度说，以后不干了。
本文首发百谷创想www.bggoogle.com,北京SEO培训,转载请保留版权