网站优化中robots的用途有哪些
般都说可以使用robots.txt 文件来屏蔽不想被搜索引擎抓取的页面，但是这些“不想被抓取的页面”般都会有哪些呢?下面来举几个简单的例子。
(1)多版本URL情况
当前栏目：
