浅析搜索引擎禁止收录法则
有时候，站长并不希望某些页面被抓去和收录，如付费内容，还在测试阶段的页面，复制页面等。网站上不出线连接，或者使用J