Loading
0

如何提升搜索引擎爬虫的效率来改进SEO工作

技术小学生微信公众号
腾讯云服务器大促销。
华为服务器

网站内部优化做了很多天,终于开放给爬虫看了。今天改模板改累死,到现在才大体改得差不多(用户体验还不行),过来写篇和爬虫效率有关的文章。

加快爬虫抓取效率在SEO之中是一件比较重要的事情,尤其对于中大型网站而言,应该将多半的精力都放在让爬虫抓取的更多更准上面(“准”指的主要是不要让它抓到无意义页面)。

首先robots文件是个很强的利器,当网站上面拥有重复内容、无意义页面等(需要屏蔽的主要是拥有重复内容或无内容的无意义页面,其他的,黑帽做法可以留下,你懂的。),就可以果断的屏蔽掉。

具体的书写方法不说了,这个网上实在是一搜一大把。只是顺带提示两点。

一,robots可以用通配符写,书写是比较自由的。

二,可以把xml格式的sitemap路径放在robots中,供搜索引擎寻找。

此外有类似屏蔽效果的还有meta robots等,这种是个因为SEO诞生的元标记。具体写法也懒得写,但也顺带一提的是,其中的nofollow可以让百度不抓取页面上的所有链接(rel="nofollow"不能阻止百度爬虫抓取),noindex可以让搜索引擎不把当前网页置入索引库,但是上面有的链接,爬虫都会去分析。若要屏蔽链接,把nofollow加上。另外之前提到过的rel=”nofollow”属性是个非常好的东西。这个是用在a标签里面的,比如:<a href="http://www.abc.com/" rel="nofollow">…</a>

它的意思是,让搜索引擎不要为这个链接传递权值(可以简单视为PR)。在Google等搜索引擎上,使用了这个标签的链接不会被爬,Google帮助里面提到的。而对于百度,不仅会爬这个链接,还会传递锚文本效果(这会提升对应网页的相关性,虽然不提升权重)。后者是个人的发现,前段时间把一段字指向Google首页,用了nofollow,加了一个莫名奇妙的锚文本。过了段时间,用这个字符串搜索(还是加了引号的精确匹配)时,Google排在了第一位,由此可见度娘对于nofollow的莫名暧昧(或者是对于谷“哥”的暧昧= =)。

总之不管如何,最重要的是PR这种东西不会再传递了。之前在我的文章里面有提到过,一个网页如果重要的话,它将会有很高的引用数量,就是有一堆链接连向它。而网站上面,经常会有“联系我们”之类的页面被其他所有的页面所链接,然后获得了高的PR值,爬虫就常常去光顾这些页面。显然这是不必要的,此时nofollow阻止下权重的传递就能省下爬虫大量的在无意义页面上面耗的时间。

貌似按照正常篇幅习惯的话,怎么都写不完提升爬虫效率,那么就分两篇算了,这篇再唠叨下静态,动态和伪静态。

动态url:当无意生成什么爬虫陷阱(无限循环型,比如被人说烂的例子,日历程序的“下一月”无限存在。),爬虫往往可以靠参数分析出哪些有可能是陷阱,就此逃掉。好处是,如果没注意过爬虫陷阱这个问题,动态url能帮一把。但可能会有极少数情况,好好的页面被错误判断了。

但现在搜索引擎的技术对于动态url已经没什么显著问题了,只要后面不跟着一串sessionid就好。

伪静态:它的主要好处是,url看着爽。其他的就不太多了。因为搜索引擎技术的日益完善,多数情况下对于动态的url分析不会有什么问题,最早要伪静态是因为当时搜索引擎太弱而已。

缺点主要有二,一是伪静态的本质是从动态url重定向,这个比较拖累服务器速度,也会略微拖慢爬虫抓取效率。二是当生成之前所说的无限循环页面时,因为url没有参数什么的,看上去和正常页面一摸一样,爬虫就可能会死在里面浪费大量时间。

静态:诸如WP这种程序,本身功能太强大导致反应速度慢,静态缓存就是个很好的选择。大致上就是先生成个html文件,用户请求时直接返回html的,而不需要服务器重新运算。如果是WP,可以用Super Cache之类的插件,虽然不是完全意义上的静态(复杂的问题不多讲了。),但要的效果基本达到了。

而对于网站流量超级巨大的网站,静态化也是必须的,不然要多配个几倍的服务器。但依然有缺点,比如会生成大量文件、网站更新不灵活等等,对于某些限制文件数量的空间就没法做静态缓存。

纯SEO角度上,最好是选择静态缓存的方式,这对于提升爬虫效率是改观非常大的(尤其像WP这种)。除此之外,个人推荐小型网站用伪静态,中大型网站用动态。

最后再顺带一提,开启Gzip大概是提升爬虫效率的最省事的方式吧,效果也几乎是最显著的。这里不多写了,因为我也不熟悉,我的空间是默认开启Gzip的。WP有一键开启Gzip的插件,很是省心。

本文由www.0755315.net原创,欢迎大家批评指正!

技术小学生微信公众号
华为服务器
腾讯云服务器大促销。

声明:站长码字很辛苦啊,转载时请保留本声明及附带文章链接:https://blog.tag.gg/showinfo-36-10889-0.html
亲爱的:若该文章解决了您的问题,可否收藏+评论+分享呢?

最后编辑于:2019-02-28 19:39:10作者:

上一篇:“左旋哥”走了“神魔哥”又来 SEOER出路在哪?
下一篇:从快照停止更新5个月看百度对网站的审核机制