做网站优化的人都知道,做好网站优化其最为主要的是关注网站的内容收录量和页面的索引量,我们站在搜索引擎的角度来看,收录与百度蜘蛛爬虫之间的关系是非常重要的,我们可以通过主动的方式和被动的方式,来让搜索引擎收录更好的网站内容.相信这一点,也对于做优化的最为基础的。

一、百度蜘蛛爬虫抓取方法

1) 主动方式：通过对网站页面进行扫描的方式，通过扫描后所抓取的页面内容，获取链接。

2) 被动方式: 我们通过主动在百度站长平台的链接提交工具里，进行提交自己的链接页面。(告诉搜索引擎我们有新的内容更新，让搜索引擎去网站收录).当然，对于搜索引擎最为喜欢的方式就是用户进行主动推送。

相信很多的站长都会遇到这样的一个问题。相对整个网站的内容收录占比非常的少，收录的量非常的少，虽然，我们在百度站长资源平台进行链接提交，但是问题还是依旧问题，当然，对于收录来说，有多方面的因素造成的，比如，内容质量度不高，站点质量不高，页面质量度低等等，从某些角度来看，这个与蜘蛛爬虫有密切的关系，那么我们需要对这方面就是影响蜘蛛爬虫的因素进行整理。

二、影响蜘蛛爬虫无法正常抓取网站内容的因素

1、设置robots错误，我们网站的robots文件主要是给搜索引擎查看的，如果我们设置robots文件错误的话，如(禁止搜索引擎爬取，相关允许抓取和不允许抓取的文件、路径、目录设置问题)，就会大大减少了收录量，更有严重的就是导致无法抓取。

2、网站本身内容质量度。对于搜索引擎的算法都是在不断的完善的过程，对于大部份的低质量的内容完全可能识别出来的，包括，复制、转载、采集、过度优化等内容，对搜索引擎来说，是非常低质量的。与此对应的比较优质的内容相比，搜索擎引会对优质内容一个更好的评价，所以，我们需要对网站内容进行高质量的创作。来提高网站内容的质量度。

3、爬虫无法访问，无法正常的抓取内容，这是一个非常严重的问题，我们需要对网站进行排查，检查网站的内容是否能够正常的访问，网站页面第一页是否在三秒内能够打开等。

4、网站内容抓取配额的问题。这个问题是很多做优化的人忽略的问题，在一般的情况下，蜘蛛会根据网站的更新频率来对网站设置抓取配额，对于抓取配额的设定，是不会影响收录的问题，如果我们的网站被黑客攻击等情况，那么，网站的内容页面的数量就可能是爆炸式增长，这些增长的内容大部份是灰色页面，另外的一个方面就是，这些增长的页面会因为搜索引擎有抓取配额，影响到正常页面的收录，或者导致页面无法收录或抓取。

泰顺网认为，造成网站的收录量减少或不收录的原因有很多，我们需要就是一一的排查，从每一个方面进行分析，找出问题所在，那么，优化的效果就会跟着预期的目标发展。