Robots.txt的使用方法

发布时间：2015-08-20

　Robots.txt大概屏蔽哪些目录?

　　robots.txt文件在网站优化中必不行少，它能够经过屏蔽一些目录或文件来让网站有非常好的运营作用。尽管网上已经有许多关于robots.txt文件的运用方法和窍门，可是每一个人运用起来必定都不相同，就如那句“一千个哈姆雷特”相同。一下是笔者关于robots.txt文件运用的一些定见和主张。

　　榜首，咱们先来科普robots.txt文件

　　其实robots.txt文件看起来深邃，其实极好了解。浅显的来说，许多人都晓得，网站被搜索引擎录入都是由于蜘蛛爬虫的劳绩。而robots.txt文件存在网站中起到一个提示作用。当蜘蛛匍匐到网站时，最新查看robots.txt文件。robots.txt文件会清晰蜘蛛能够匍匐的网站的规模。

　　第二、为什么运用robots.txt文件

　　网站搜索引擎优化中，每一个过程都有它的作用。所以，robots.txt文件也是相同。它的作用主要是：

　　1、让网站中的权重和访问量有所晋升。

　　2、网站中某些版块不需求蜘蛛抓取，robots.txt文件能够提示蜘蛛，然后节约服务器和带宽速度。

　　第三：robots.txt文件要点制止哪些目录

　　1)图像目录

　　robots.txt文件屏蔽图像目录是：imags 或许 img。Cms极好用，可是若是用过头，就会形成资源很多重复。同质化的模板并不被搜索引擎所喜爱。若是你需求运用这种网站，就要对图像进行屏蔽。

　　2)网站模板目录

　　robots.txt文件中，屏蔽模板目录的文件目录是：templets。同上所述，网络中存在很大同质化模板，cms在生成的文件中，会与模板文件高度类似。若是不屏蔽掉其间的模板方针，就会遭到搜索引擎的赏罚。

　　3)CSS、JS目录的屏蔽

　　CSS款式的目录通常情况下是：CSS 或许 style。CSS、JS目录没有任何价值，既然是无用的东西，蜘蛛抓取也没作用，所以仍是屏蔽掉的好。

　　4)双页面的内容也需求屏蔽

　　举个简略易懂的比如。DEDECMS体系中，一排呢文章尅一起生成静态和动态的url。所以，一起两个url对蜘蛛抓取内容晦气。只能屏蔽其间一个。正常状态下都是屏蔽动态url。由于静态url跟有利于蜘蛛抓取。

　　别的，模板缓存目录和被删去的目录也需求用robots.txt文件屏蔽。所以，robots.txt文件有这么多用途，在网站优化中不行短少。