搜寻引擎蜘蛛是搜寻引擎的一个自动步调。它的效率是考察互联网上的网页、图片、视频等实质，树立索引数据库，运用户能在搜寻引擎中搜寻到您网站的网页、图片、视频等实质。
普遍用法为“ spider+URL”，反面的URL(网址)是搜寻引擎的陈迹，假如要察瞅某搜寻引擎是否来爬取过你们的网站，可察瞅效劳器的日记里是否有该URL,共时还能察瞅来的时间、频率等…
1、百度蜘蛛：不妨依据效劳器的负载本领安排考察密度，大大降矮效劳器的效劳压力。依据往常的体味百度蜘蛛常常会过度反复地抓取共样的页面，引导其他页面无法被抓取到而不行被收录。这种情景不妨采用 robots协议的办法来安排。
2、谷歌蜘蛛：谷歌蜘蛛属于比较绚烂的网站扫描东西，其隔绝28天安排便派出“蜘蛛”检索有革新大概者有建改的网页。与百度蜘蛛最大的不共点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
3、雅虎华夏蜘蛛：假如某个网站在谷歌网站下不很好的收录，在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数目宏大，然而平稳的效力不是很高，相应的搜寻截止品质不高。
4、微软必应蜘蛛：必应与雅虎有着深度的协调闭系，所以基础运行形式和雅虎蜘蛛差不多。
5、搜狗蜘蛛：搜狗蜘蛛的爬取速度比较快，抓取的数目比起速度来说略微少点。最大的特性是不抓取 robot. text文件。
6、搜搜蜘蛛：搜搜早期是运用谷歌的搜寻本领，谷歌有收录，搜搜确定也会收录。2011年搜搜已经颁布采用本人的独力搜寻本领，然而搜搜蜘蛛的个性和谷歌蜘蛛的特性仍旧有着好像的场合。
8、有道蜘蛛：和其他搜寻引擎蜘蛛普遍，但凡是高权沉网站的链接普遍都能将其收录。爬行本理也是经过链接之间的爬行。