如何查看网站被百度抓取的情况?

来源:未知 浏览 1026次 时间 2021-03-13 13:12

百度用于抓取网页的步伐叫搞Baiduspider - 百度蜘蛛,咱们察瞅网站被百度抓取的情境主假如领会,网站日记里百度蜘蛛Baiduspider的灿烂性:抓取频率,返回的HTTP情景码。

何如样察瞅网站被百度抓取的情境?

察瞅日记的措施:

经过FTP,在网站根目录找到一个日记文件,文件名普遍包括log,下载解压里面的记事本,这等于网站的日记,记录了网站被参瞅和安置的情境。

因为各个效力器和主机的情境不共,不共的主机日记功效记录的本质不共,有的以致不日记功效。

日记本质如下:

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"   

领会:

GET /bbs/thread-7303-1-1.html   代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200  代表成功抓取。

8450  代表抓取了8450个字节。

假如你的日记里办法不是如许,则代表日记办法树立不共。

许多日记里不妨瞅到 200 0 0和200 0  64 则都代表平凡是抓取。

抓取频率是经过察瞅逐日的日记里百度蜘蛛抓取次数来获知。抓取频率并不一个典范的时间表大概频率数字,咱们普遍经过多日的日记闭于迩来估计。天然,咱们向往百度蜘蛛逐日抓取的次数越多越好。

在网站展示问题的情境下,经过察瞅网站日记,察瞅网站的HTTP返回值是否平凡是。

参瞅本文的人还不妨参瞅:

网站日记在何处?何如样下载日记?

标签: 日记抓取网站百度