[如何编写robots.txt] Robots.txt写作以及在哪里解释
1.什么是机器人掌握机器人的基本语法并写下你对本课的理解
机器人是指网站与搜索引擎之间的协议。需要记住以下三点：
1.机器人存储在网站的根目录中
2.Robots.txt放在网站的根目录中
3. robots.txt文件的名称不可修改
4.Robots也是第一个被百度蜘蛛抓取的人。
2郑州网站优化并写下你对本课的理解
机器人是指网站与搜索引擎之间的协议。需要记住以下三点：
1.机器人存储在网站的根目录中
2.Robots.txt放在网站的根目录中
3. robots.txt文件的名称不可修改
4.Robots也是第一个被百度蜘蛛抓取的人。
2机器人的形式和定义：
用户代理: Baiduspider（定义所有百度蜘蛛）
禁止:/
用户代理：定义所有蜘蛛
Baiduspider：百度蜘蛛
Googlebot：Google Robot
MSNBot：msn机器
Baiduspider-image：百度图片
禁止:定义可以对哪些文件进行爬网并且无法对这些文件进行爬网
允许:允许
摘要：网站优化必须包含机器人机器人格式区分大小写并且区分大小写的格式为：禁止必须大写。创建新的记事本时需要注意：输入法中文应切换为英文例如：
另请注意编辑时禁止: /清空一个空格如下所示
*：定义所有蜘蛛通配符
/：通配符拒绝百度蜘蛛访问网站根目录下的文件这意味着所有含义
机器人的有效时间由百度确定可能是1个月或2个月
注意：发布也需要生效
$：终结者
注意：同时还应注意网站的动态路径也应该由机器人屏蔽。在这个前提下您需要做的是了解每个文件下的数据用于什么它意味着什么在您之下？也知道如何使用机器人进行操作。仍然无法理解机器人你可以点击我的博客：
＆lt; divclass=＆quot; blockcode＆quot;＆gt;＆lt; blockquote＆gt;＆lt; ahref=＆quot;＆quot;＆gt; SEO研究中心机器人生产和特殊符号含义＆lt;/a＆gt;
复制代码
。
备注：
禁止:/data（一个是文件夹一个是目录）禁止以根目录中的数据/data.html/dataaaa.html/data/aaa.html文件开头的文件或文件夹无法访问
禁止:/data /（拒绝目录）禁止文件夹/data/aaa.html可以访问/data.html/dataaaa.html
2.将机器人添加到基本操作站点
用户代理: *（定义所有蜘蛛）
禁止: /plus/ad_js.php（拒绝目录/加/可以访问ad_js.php）
禁止: /plus/advancedsearch.php
禁止: /plus/car.php
禁止: /plus/carbuyaction.php
禁止: /plus/shops_buyaction.php
禁止: /plus/erraddsave.php
禁止: /plus/posttocar.php
禁止: /plus/disdls.php
禁止: /plus/feedback_js.php
禁止: /plus/mytag_js.php
禁止: /plus/rss.php
禁止: /plus/search.php
禁止: /plus/recommend.php
禁止: /plus/stow.php
禁止: /plus/count.php
禁止:/include
禁止: /模板