Googlebot 咱们普遍称为Google 呆板人大概Google 探测器。Google “挨发”了不共的Googlebot 闭于网页实质进行获得。
Googlebot 有哪几种?重要包括:
1、Googlebot:抓取网页中的笔墨实质。获得的实质保持于Google 网页搜寻和新闻搜寻的数据库。咱们普遍谈的Google 呆板人重要指这个。
2、Googlebot-Mobile:抓取网页中的笔墨实质,用于Google 手机搜寻。
3、Googlebot-Image:抓取网页内的图片实质,保持入Google 图片搜寻数据库。
4、Mediapartners-Google:抓取网页中的笔墨实质,用于Google Adsense 领会闭头词汇。惟有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
5、Adsbot-Google:抓取网页中的笔墨实质,用于为Google AdWords 供给参照。惟有Google AdWords 的手段网页才会被 Adsbot-Google 探测器爬取。
Googlebot 和Mediapartners-Google 是格外勤奋的呆板人,假如他们效率到你效劳器的接受力,你不妨经过 robots.txt 文件加以遏止。
观赏本文的人还感风趣
Google网站控制员东西是什么?
Google闭头字东西
Google网站流量统计