robots.txt限制些什么屏蔽内容与安全性的考虑
robots.txt文件可以有效的屏蔽搜索引擎抓取我们不需要被抓取的页面和网站源文件，其中的好处是限制搜索引擎过多