如何正确使用和区分ROBOTS和NOFOLLOW,机械手怎么调试视频

来源:未知 浏览 123次 时间 2021-06-20 08:04


> SEO教程> 如何正确使用和区分ROBOTS和NOFOLLOW?

如何正确使用和区分ROBOTS和NOFOLLOW?

SEO教程天津 2年前(2016-12-05) 173°C

如何恰当的使用和区分ROBOTS和NOFOLLOW?


我以前认为网页上不需要的网址被机器人阻止。但这种情况并非如此。在GWT的爬网错误中将出现类似于robots.txt限制的错误。很奇怪我用机器人挡了它。你为什么还在做爬行错误?
我以我自己的网站为例。我们的内页在此页面上有很多链接SEO排名服务我用机器人挡了它。你为什么还在做爬行错误?
我以我自己的网站为例。我们的内页在此页面上有很多链接包括


这两个链接是我不希望搜索引擎抓取。
最初只有类似的1.html出现在网页上。在我用机器人阻止之后REWT中有很多错误被robots.txt重新限制。错误的链接是/A/*/similar1.html然后网站被修改。当我删除这个链接nofollow但为了实现一些功能前台程序员添加了这样一个链接我在第一时间把它的robot.txt。然后在这个时候我回头看看GWT中的抓取错误。所有受robots.txt限制的条目都变为similar2.html原始的similar1.html已经消失。
我记得郭平的老师曾经说过即使你用robots.txt禁止某种类型的网址蜘蛛仍会检测到网址。与此同时谷歌正式确认网站上的每日抓取次数与PR有一定的关系。在我的PR确定的情况下我每天抓取的URL数量是一定值。然后robots.txt禁止的这些URL被蜘蛛检测到并且仍然有可能检测到其他正常的URL。只有在使用nofollow时蜘蛛才能完全忽略URL。在上面的示例中当蜘蛛进入/A/1.html页面时它会检查此页面的链接信息并找到两个URL类似于.html和similar2.html如果没有nofollow它会检测到这两个网址。当发现机器人禁止这两个URL时它将从谷歌官方服务器返回数据。这两个网址无法抓取。但是如果添加nofollow蜘蛛甚至可能检测不到它是否遵循robots.txt而是直接请求下面的链接。
因此使用nofollow是提高蜘蛛效率的最佳工具而robots.txt和meta标签只是为了减少网页重复和垃圾邮件的数量。可以说它完全用于两个目的。当然一起使用时您可以通过搜索引擎让您的网站越来越好。

转载请注明:天津seo教程_seo入门视频教程_seo培训教程»如何正确使用和区分ROBOTS和NOFOLLOW?

或者分享(0)

网站SEO优化=中小企业的制胜点? 如何计算百度的外部链和内部链重?

您必须登录后才能发表评论!

标签: 区分ROBOTS使用NOFOLLOW如何恰当