什么是robots？

我们在百度百科中可以查到这样一段话：

“robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，
它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定...”

这段话中我们可以看出，在我们网站seo优化的时候，搜索引擎访问网站首先会检查网站根目录下有没有这个叫robots.txt的文件，然后再根据文件里的写的规则来进行抓取。所以我们如果网站里面有些隐私或者敏感的内容可以通过robots来设置，那么我们应该怎么设置呢？一起跟随小编来看看吧！

一、Robot的常用指令

User-agent: 

这是定义搜索引擎的，可以规定那些搜索引擎可以进入访问，比如：

User-agent: baiduspider //这里是定义只能百度蜘蛛访问

当然我们一般都是

User-agent: * // 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: 

这是定义了禁止搜索引擎蜘蛛爬行，这里我们可以是目录，网页，图片等等，只要你不想被搜索引擎抓取的都可以禁止。比如：

Disallow: /admin/  // 这里定义是禁止爬寻admin目录下面的目录
Disallow: /cgi-bin/*.htm  // 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Allow: 

这是定义了允许搜索引擎蜘蛛可以访问那些内容，如果前面全部拒绝了访问，就可以用到这个指定哪些内容可以访问。比如：

Allow: .htm$  // 仅允许访问以".htm"为后缀的URL。

二、robots可以起到的作用

1、robots可以屏蔽死链接

我们在做网站改版的时候难免会让网站产生一些死链，这时候我们可以通过robots来屏蔽这些死链，当然如果死链太多，我们可以去百度站长提交死链。

2、robots屏蔽无价值的页面

对于网站优化来说，许多的网站是有一些没价值但是又不能丢弃的页面，比如用户个人中心页面，这种页面在搜索引擎上展现页不会带来更大的权重，甚至不好的影响，所以我们需要利用robots来屏蔽这些页面。

3、robots屏蔽重复路径

如果你的网站设置了伪静态，一般这网站的动态链接也是可以进行访问的，那么问题来了，一个页面有两个不同的访问路径，明显是不合理的，因此我们需要通过robots来对这些路径进行屏蔽。

很多人可能都不知道，这些细节可能就是你网站的排名上不去的原因，所以这种一直被忽略的细节，身为优化人员不可忽视啊！