巧用robots文件提升页面抓取率
一、认识robots文件
我们知道,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,什么是不可以被查看
