robots.txt的写法和利用百度站长平台工具自动生成
百度站长平台提供了一个很好的robots.txt自动生成工具，利用它我们可以很方便的写出robots.txt，通过robots.txt阻