Loading
0

robots.txt文件Disallow与Allow行的顺序是有意义的

技术小学生微信公众号
腾讯云服务器大促销。
华为服务器

在对 robots.txt 文件设置记录时,要特别注意 Disallow 与 Allow 行的顺序是有意义的,spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。

举例说明:

允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL

User-agent: *

Allow: /cgi-bin/see

Disallow: /cgi-bin/

如果Allow 和 Disallow 的顺序调换一下:

User-agent: *

Disallow: /cgi-bin/

Allow: /cgi-bin/see

spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL,因为第一个 Disallow: /cgi-bin/ 已经匹配成功。

关于 Disallow 和 Allow 记录写法

Disallow 和 Allow 记录后面可以是一条完整的路径,也可以是路径的非空前缀。例如 “Disallow: /help” 禁止 spider 访问/help.html、/helpabc.html、/help/index.html;而 “Disallow:/help/” 则允许 spider 访问 /help.html、/helpabc.html,不能访问 /help/index.html。

文章来源:Bruce 只言片语

技术小学生微信公众号
华为服务器
腾讯云服务器大促销。

声明:站长码字很辛苦啊,转载时请保留本声明及附带文章链接:https://blog.tag.gg/showinfo-36-8541-0.html
亲爱的:若该文章解决了您的问题,可否收藏+评论+分享呢?
上一篇:浅谈网站PR被降的几点原因
下一篇:没有了博客 SEOER该如何生存?