robots.txt协议文件写法

我们在建网站完成之后都需药创建robots.txt协议文件，但是很多人不知道这是为什么。今天为大家详细介绍下：

现在各大搜索引擎，在访问网站的时候，最先访问的文件就是robots.txt，它能告诉搜索引擎的蜘蛛哪些页面可以抓取，哪些禁止抓取。小白看到这里会说，这个功能作用有限。确实从凑索引擎角度看，它可以屏蔽很多页面，达到权重集中的作用。这也是seo人员最为看重的地方。

网站设置的另外几个原因：能设置访问的权限，保证网站安全；能禁止搜索引擎爬取无效页面，集中权重到主要页面。在书写的时候还需要掌握几点知识。

User-agent表示定义哪个搜索引擎，如User-agent：Baiduspider，定义百度蜘蛛。

Disallow表示禁止访问。

Allow表示运行访问。

通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面。

我们将书写好的文件放到网站的根目录，且对字母大小进行限制，文件名必须为小写，所有的命令第一个字母需大写，其余的小写。且命令之后要有一个英文字符空格。