Robots.txt写法详解

目录：

1.robots协议领会书籍写规则和书籍写方法

2.robots协议是什么？它有什么 用？

知识扩展：Nofollow与Disallow的辨别

1.robots协议领会书籍写规则和书籍写方法

Robots是指网站与搜寻引擎之间的协议1写法。机器人是存放在网站根目录

3.robots.txt文件名改的是不可建2.Robots.txt是放置网站根目录4.Robots也是百度蜘蛛抓取站点优先级最高的

2机器人 办法及定义：User-agent：Baiduspider（定义十脚的百度蜘蛛）Disallow：/ User-agent：定义十脚的蜘蛛Baiduspider：百度蜘蛛Googlebot：谷歌呆板人MSNBot：msn呆板Baiduspider-image：百度图片Disallow： 定义那些文件不妨碍抓取那些文件不不妨碍抓取

比方说底下这个是discuz论坛的都是不答应蜘蛛抓取User-agent：* Disallow：/ api / Disallow：/ data / Disallow：/ source / 禁止：/ install /禁止：/ template /禁止：/ config /禁止：/ uc_client /禁止：/ uc_server /禁止：/ static /禁止：/admin.php禁止：/search.php禁止：/member.php禁止：/ apiRobots.txt。phpDisallow：/misc.phpDisallow：/connect.phpDisallow：/forum.php?mod=redirect*Disallow：/forum.php?mod=post*Disallow：/home.php?mod=spacecp*Disallow：/userapp.php？ mod = app＆*禁止： / *？mod = misc * Disallow：/ *？mod = attachment * Disallow：/ * mobile = yes *

//不想站点文件被抓取情景下那么采取这种方法反面减少本人所须要的文件即可 允许：答应

//答应搜寻引擎搜抓取文件方法

小结：网站优化必须要有机器人机器人方法辨别大小的 辨别大小写方法为：Disallow首字母必定是大写的在本地新建记事本编写时应要注的是不要写成“ disallow”中心发端是大写字母D

2。robots协议是什么？它有什么用？

Robots是站点与spider沟通的沉要渠道站点经过robots文件证明该网站中不想被搜寻引擎收录的局部大概使用者指定搜寻引擎只收录特定的局部。请 注沉仅当您的网站包括不憧憬被搜寻引擎收录的实质时才应使用robots.txt文件。闭于于站长而言出于闭于SEO的乞求经过必须要经过书籍编写robots协议 在某些情况下假如不节制蜘蛛抓取某些特定的文件有大概引导网站窃密信息的揭发。已经有一个高校网站因为不树立 如果是贸易性网站会员信息被果然被网站成果是格外严沉的。因为我们们站长在控制网站的过程中要注沉机器人

3。知识扩展：Nofollow与Disallow的辨别

Robots是站点与spider沟通的闭口蜘蛛在考察网站之前开始要找到robots.txt协议通过观察机器人决定抓取其中的实质 不抓取实质性。天然这个协议必须要搜寻引擎各自按照才行不然写得再好的robots.txt也是白瞎。

disallow实脚阻止止某些页面被抓取也即是不 而nofollow是某个链接的属性一个页面如果有多个链接导入只要有一个不戴nofollow那么它保持会被传播权沉。

Robots.txt写法详解

假如阻止止谷歌抓取那么便用户代理：googlebot而如果要阻止止所以搜寻引擎抓取User-agent ：* Disallow：/天然普遍的网站本质咱们都憧憬抓取如许不妨碍通过笔墨题工具长尾闭头单词约会大量流量。而收录闭于于网站排名来道姑且不什么有力的这一证明这一点。比方淘宝百度便只收录了一个主人然而是流量和排名大师不妨碍本人瞅瞅。网站转载过来的那么纵然收录了如果反复页面太多闭于本人的站点保持不好所以也不妨碍阻止止抓取。

标签： robots协议