seo网站优化策略中robots.txt的写法与作用

百度百科中的语句是:

obots协议的全称(也称为履带协议机器人协议等等)是“机器人排除协议”(机器人排除协议)和网站告诉搜索机器人协议页面可以爬的引擎和哪个页面不能爬。

机器人的角色。txt

我们为什么需要使用机器人。txt告诉搜索机器人没有爬行我们的一些网页如:后台管理文件程序脚本附件数据库文件编写文件样式表文件、模板文件导航图片背景图片等。毕竟这些页面或文件被搜索引擎索引用户无法看到他们。他们中的大多数需要密码访问或数据文件。在这种情况下让搜索机器人爬行又会浪费服务器资源增加了服务器的压力。因此我们可以使用机器人。txt告诉机器人集中包括我们文章页面。增强用户体验。

5机器人实践技能和使用

1。使用机器人来阻止网站复制页面

浏览许多网站提供多个版本的一个内容。虽然对于用户来说非常方便它会导致蜘蛛的困难因为他们无法区分。是主要的响水网站优化因为他们无法区分。是主要的也就是说一旦你让它认为你是恶意重复你会痛苦

- agent: *

不允许:/地图/“没有蜘蛛爬行网页文本”

2使用机器人保护网站的安全

很多人想知道机器人还能如何与网站安全吗?事实上它有很大的关系。许多低级别的黑客登录通过搜索默认背景实现入侵网站的目标

- agent: *

不允许:/ admin /“禁止蜘蛛爬行admin目录中的所有文件”

3。防止盗链

一般只有少数人盗链但是一旦你“hotlinked”搜索引擎你可以得到100宽带。如果你不是照片的网站你也?不想被“劫持”搜索引擎你的网站图片

- agent: *

不允许:jpg

4美元。提交站点地图

现在做优化的我们都知道我们有做了一个站点地图但很少有人将提交。大多数人只是添加一个web页面的链接。事实上机器人支持这个功能

站点地图:http: www - * * *呈爆炸式/网站地图网站地图。xml

5。禁止某些二级域名的爬行

一些网站会提供一些特殊服务贵宾成员但是他们呢?t希望这项服务被搜索引擎检索到的

- agent: *

不允许:/

上述五个机器人足够控制搜索引擎蜘蛛来提高你的能力。就像百度说:我们和搜索引擎应该成为朋友。增加沟通消除存在的一些差距。

机器人。机器人的三种基本语法几个关键语法。txt:

用户代理:机器人应用下列规则如广告、Baiduspider等等

b不允许:URL被阻塞没有机器人可以访问它。

c允许:允许url访问

d“*”: Wildcard-match 0或多个任意字符。

e“$”:匹配行结束字符。

f“#”: Comment-descriptive文本响水网站优化“#”: Comment-descriptive文本你不需要写出来。

g广告:谷歌搜索机器人(也称为搜索蜘蛛)。

h Baiduspider:百度搜索机器人(也称为搜索蜘蛛)。

我、目录和URL:所有从一个正斜杠(/)开始。

喜欢

不允许:/

不允许:/图片/

不允许:/ admin /

不允许:/ css /

2列举一些具体的使用机器人。txt:

(1)允许所有机器人访问用户代理:*

不允许:

- agent: *

允许:/

或创建一个空文件“robots . txt”。

(2)只禁止某些机器人访问你的网站比如Baiduspider。

- agent: Baiduspider

不允许:/

3。只允许一个机器人访问你的网站比如Baiduspider。

- agent: Baiduspider

不允许:

- agent: *

不允许:/

4禁止访问特定目录

- agent: *

不允许:/ admin /

不允许:/ css /

不允许:

屏蔽所有URL包含一个问号(?)(具体地说这种URL从域名开始紧随其后的是任何字符串然后一个问号然后任何字符串)请使用以下:

- agent:广告的

不允许:/ * ?

指定匹配结束字符的URL使用美元。例如阻止所有url以. xls请使用以下内容:用户代理:广告的

不允许:/ *。

标签： txt文件robots