谈谈为什么淘宝要屏蔽百度蜘蛛的抓取
说到百度和淘宝，不得不提一件事，2008年，马云做了个异常霸气的决定，那就是淘宝在robots.txt协议中屏蔽百度蜘蛛的抓