朋少教程 为什么网站添加了机器人禁止协议只能

SEO的一些基础上的东西总是容易被人忽略比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性网站...

SEO的一些基本上的物品一直非常容易被别人忽视比如说robots文件。喜子姜堰SEO以前的文章内容有数次提及过这一份文档的必要性网址优化诊断的在其中一项便是查验有没有做这一份文档是不是标准。以前的文章内容有提及过那么一句：假如网址的robots协议书文档禁止了搜索引擎蜘蛛那麼不管你怎么优化都不容易被收录。

假如你的网址加上了robots协议书文档而且设定了禁止搜索引擎蜘蛛的命令那麼你的网站内容将不容易被抓取但有可能会被收录（数据库索引）。

有的人将会会有疑问搜索引擎蜘蛛爬取url页面页面必须有內容展现出去意见反馈给到蜘蛛才有可能会被收录。那麼假如內容都被禁止了还会继续被收录吗？这代表什么意思呢？这个问题这儿喜子先无需多言大伙儿先看一下下面的照片吧。

淘宝的收录状况

如下图所示之上是site淘宝网站域名出現被收录的結果。从site結果里边能够 清晰地见到这儿收录了许多淘宝网站的页面显示信息收录結果为两亿6159万只页面。可是大伙儿不清楚有木有发觉一个难题这种页面抓取的叙述內容全是提醒了那样一段文字：因为该网址的robots.txt文件存有限定命令（限定搜索引擎抓取）系统软件没法出示该页面的內容叙述。下列是截屏：

robots文件禁止抓取叙述內容

robots禁止搜索引擎蜘蛛后怎么会被收录呢？

这儿有一个认知能力上的不正确也可能是惯性力思维逻辑的不正确思索。大家都觉得蜘蛛不可以抓取內容就不容易收录事实上爬取、抓取、数据库索引（收录）是不一样的定义。很多人学习培训SEO的情况下习惯性的对一些SEO的定义混肴不清造成在后面的SEO提升全过程之中并不可以充分发挥出非常好的实际效果。

還是先而言说robots协议书到底是在干什么？即然是协议书那肯定是协商一致、认同的规定。这一甲乙当然便是网址和搜索引擎（换句话说搜索引擎蜘蛛）中间的协议书。robots文件会放到根目录下蜘蛛进入网站会第一时间浏览这一文档随后看一下协议书里边有木有禁止了什么页面不可以抓取假如禁止了就不容易再去抓取。

robots协议书文档

一个页面要想去搜索引擎数据库索引（收录）seo优化解决方法假如禁止了就不容易再去抓取。

robots协议书文档

一个页面要想去搜索引擎数据库索引（收录）收录要有蜘蛛爬取和抓取即然不抓取理所应当的便会被觉得这一页面是不容易被收录。那样的逻辑思维是不正确的不抓取也是能够 被数据库索引（收录）。如淘宝网便是一个典型性的实例网址加上了禁止协议书最终還是被收录。缘故取决于百度搜索从其他方式服务平台强烈推荐的外链掌握到这一网址尽管被禁止抓取但从题目和强烈推荐连接的数据信息里還是能够 分辨出与该页面相对的內容信息内容。

标签： 抓取robots收录禁止