SEOER为什么要懂robots?

robots协议书就是指收索引擎与网站中心的协议书文档，也就是说爬虫协议书，用以特定spider在网站上的抓取领域。其成效是可以屏蔽掉对网站对收索引擎不友善的衔接，例如动态性和静态数据衔接别的存有时屏蔽掉每日使命悉数不肯被引证的网页。　　robots协议书是正确引导蛛蛛抓取网站地形图，也用于维护网站信息和比较灵敏信息内容，确保客户私家信息和隐私维护不被损害。存有于网站根目录正，以文件格局存有，留心robots文件夹称号不可以随意改变

书写：:表达关于某一爬虫，

　　:表达制止抓取

　　:容许抓取

　　.*通配符，表达悉数

　　.$结束符，表达以哪些结尾

　　/根域下就是指网站根目录

　　注：灶具显现英文情况下的，并且后边有一个空格符，首写有必要小写。

　　例：

　　1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接

　　2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接

　　3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录

　　4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档5、User-agent:*Disallow:/*？*（？表达动态性符）制止抓取网站根目录下带？号的动态性衔接

　　6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档

　　7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”，容许抓取“a”目录下边的“b”目录。

　　8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录，容许抓取“a”目录中以“b”开端的文档。