机器人设置优化的SEO教程

> SEO教程> SEO教程的机器人设置优化

SEO教程天津 2年前（2016-12-04） 144°C

2.机器人优化编写方法：
首先让我们看一下robots.txt示例:
来自
的＃robots .txt文件 #All机器人将蜘蛛领域
用户代理:
禁止:
上述文字表示允许所有搜索机器人访问该网站

所有文件都在。具体语法如下。
＃后的文字是说明信息;
用户代理后跟搜索机器人的名称。如果是“。”则表示所有搜索机器人;
Disallow之后是不允许访问的文件目录。如果目录为空刷百度下拉则表示所有搜索机器人;
Disallow之后是不允许访问的文件目录。如果目录为空则没有任何禁止。
下面列出了robots.txt的一些具体用法。
允许所有机器人访问如下:
用户代理:
禁止:
或者您可以创建一个空的robots.txt文件。
禁止所有搜索引擎访问网站的任何部分如下所示：
用户代理:
禁止:/
禁止所有搜索引擎访问网站的某些部分。例如以下示例禁止访问01,02,03
目录:
用户代理
禁止:/aa/
禁止:/bb/
禁止:/cc/
禁止访问搜索引擎例如以下示例中的BadBot:
用户代理: BadBot
禁止:/
仅允许访问某个搜索引擎例如以下示例中的Crawler:
用户代理: Crawler

转载请注明：天津seo教程_seo入门视频教程_seo培训教程＆raquo; SEO教程机器人设置优化

或者分享（0）

您必须登录后才能发表评论！

标签： Robots优化设置教程