SEO资料站：网站robots协议没写好，后果竟有这么严重！
Robots协议是蜘蛛访问网站的开关，决定蜘蛛可以抓取哪些内容，不可以抓取哪些内容。从网站管理者的角度，我们通过robots的书写，可以决定让蜘蛛抓取哪些文件，而不抓取哪些文件，从而