网站的优化是一个系统工程，有很多东西都必须实验研究和总结。对于一些稍大规模的网站，一些简单的SEO细节就能对整体产生影响，有时也会直接影响网站的收录、转化甚至盈利。所以对于上规模的网站而言，一些SEO细节是不得不提，不得不重视的。今天和大家总结关于robots的几点知识，希望能让大家受益。

robots文件的使用很多站长都熟悉，但在细节上未必在意，也未必精通。它包含的许多知识点搜索引擎并没有给出详尽的说明或者使用方法。在经过大量总结和参看资料的基础上，本文和大家总结操作robots文件时应该注意的细节。

第一、user-agent的数量

一般网站的robots.txt文件中不要出现多个user-agent记录，一般都是一个为宜，但是如果一个都不出现，也是被允许的。

第二、spider蜘蛛大小写

搜索引擎蜘蛛在查看robots的时候会忽略大小写，但是为了保险，也有网站分别写了两个不同的百度蜘蛛，比如淘宝。

第三、allow与disallow顺序

顺序的问题会导致抓取的错误，如果把allow放置后边，有时候就会出现想要收录的内容不被收录，举例说明：

想要搜索引擎唯一收录a文件夹下的b.html，那么则要这么写：

Allow:/a/b.html

Disallow:/a/

如果顺序写反，第一个匹配成功之后，b.html就不会被收录。

第四、记得反斜杠

反斜杠代表的意思是根目录，所以Disallow:/代笔的意思就是禁止收录一切页面和文件夹的内容。这个反斜杠很重要，少了反斜杠就代表允许搜索引擎收录全部页面。

第五、#表示注释

在robots.txt中，#开头均被视为注释，这和unix中的惯例是一样的。不要一不小心把通配符写错了。

第六、不要出现空格

有些robots文件中前边会不注意加一个空格，这样的问题应该尽量避免，否则一些机器人就不理解意思。

好了，篇幅有限，本文就先写这六个方面吧，下文还有目录大小写、meta累加取值、采纳限制性最强的参数等方面的介绍，都是十分有用处的细节，robots.txt虽然优化的主要方向，但是它确实必需重视的一个方向，如果写的有问题，对整个网站的收录都会造成影响。我们不应该随波逐流，别人怎么写我们就怎么写。而是理解其中的含义，写出符合自己网站的robots文件。

本文来自左旋360减肥咖啡（http://www.kfzxrj.com），转载请保留链接，谢谢！