robots.txt协议文件写法

2021年3月29日17:06:33 发表评论
广告也精彩

我们在建网站完成之后都需药创建robots.txt协议文件,但是很多人不知道这是为什么。今天为大家详细介绍下:

现在各大搜索引擎,在访问网站的时候,最先访问的文件就是robots.txt,它能告诉搜索引擎的蜘蛛哪些页面可以抓取,哪些禁止抓取。小白看到这里会说,这个功能作用有限。确实从凑索引擎角度看,它可以屏蔽很多页面,达到权重集中的作用。这也是seo人员最为看重的地方。

网站设置的另外几个原因:能设置访问的权限,保证网站安全;能禁止搜索引擎爬取无效页面,集中权重到主要页面。在书写的时候还需要掌握几点知识。

User-agent表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛。

Disallow表示禁止访问。

Allow表示运行访问。

通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。

我们将书写好的文件放到网站的根目录,且对字母大小进行限制,文件名必须为小写,所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
  • A+
所属分类:SEO
ts小陈

发表评论(请规范评论)--评论需审核

:?: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :cry: :mrgreen: :mrgreen: :mrgreen: :mrgreen: :mrgreen: :mrgreen: :neutral: :razz:

已登录用户不需要填写以下内容