许多网站建设系统，在网站建成后，都有网站的根目录，默认带有robots.txt协议文件。在当今竞争日益激烈的网站优化中，原本没有优化因素的robots.txt文件也得到最大限度的利用，其写作是为了应对突发事件而掌握的。1: robots.txt […]
许多网站建设系统，在网站建成后，都有网站的根目录，默认带有robots.txt协议文件。在当今竞争日益激烈的网站优化中，原本没有优化因素的robots.txt文件也得到最大限度的利用，其写作是为了应对突发事件而掌握的。
一：robots.txt协议文件有什么用？
当搜索引擎访问一个网站时，首先访问的文件是robots.txt。她告诉搜索引擎蜘蛛哪些网页可以爬行，哪些网页禁止爬行。从表面上看，这种功能效果有限。从搜索引擎优化的角度来看，我们可以通过屏蔽页面来实现集中权重的功能，这也是优化者最重要的地方。
以一个seo网站为例，它的robots.txt文件如图所示:
二：网站设置robots.txt的几个原因。
1:设置访问权限保护网站安全。
2:禁止搜索引擎抓取无效页面，并将权重集中在主页面上。
三：怎么用标准写法书写协议？
有几个概念需要掌握。
用户代理指示要定义哪个搜索引擎，如用户代理:百度蜘蛛，来定义百度蜘蛛。
不允许意味着禁止访问。
允许表示运行访问。
通过以上三个命令，您可以组合各种编写方法，允许哪个搜索引擎访问或者禁止哪个页面。
四：robots.txt文件放在那里？
这个文件应该放在网站的根目录下，而且信的大小是有限制的。文件名必须是小写字母。所有命令的第一个字母应该大写，其余的应该小写。命令后面应该有一个英文字符空格。
五：哪些时候需要使用该协议。
1:无用页面。许多网站都有联系我们、用户协议等页面。与搜索引擎优化相比，这些页面几乎没有效果。此时，我们需要使用“不允许”命令来禁止搜索引擎对这些页面进行爬网。
2:动态页面。企业型网站屏蔽动态页面，有利于网站安全。多个网站访问同一个页面，这将导致权重分散。因此，通常情况下，动态页面被屏蔽，静态或伪静态页面被保留。
3:网站背景页面，也可以被归类为无用的页面，被禁止包含所有有益无害的内容。
59
59
59
59
59
59
59
59
59
59