Loading
0

轻松配置网站Robots.txt文件

技术小学生微信公众号
腾讯云服务器大促销。
华为服务器

核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。

当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?

让我们看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#号的都是注释,方便阅读。

User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。

Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。

编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。

如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。

好了,现在就去设置你的robots.txt文件吧。

技术小学生微信公众号
华为服务器
腾讯云服务器大促销。

声明:站长码字很辛苦啊,转载时请保留本声明及附带文章链接:https://blog.tag.gg/showinfo-36-13278-0.html
亲爱的:若该文章解决了您的问题,可否收藏+评论+分享呢?
上一篇:眼睛视点的搜索引擎优化 浏览视觉与F形状
下一篇:让SEO更大的作用