robots.txt的写法和利用百度站长平台工具自动生成
0条评论
6 ℃
百度站长平台提供了一个很好的robots.txt自动生成工具，利用它我们可以很方便的写出robots.txt，通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录，还可以阻止及引导蜘蛛爬行更多的页面，减少蜘蛛的爬行量，提高蜘蛛的爬行效率，有效的提升更多的页面被收录。
前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况，可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面，这里我们可以用robots.txt禁止蜘蛛爬行。
百度站长平台注册及网站验证方法这里就不说了，下面讲讲Robots工具的使用方法：
...