(baiduspIDer)百度蜘蛛叫baiduspIDer不是baidubot
今天我遇到了一个问题关于如何编写机器人。我将组织对每个人都在这里。事实上它也是从互联网。请注意百度吗?年代蜘蛛叫Baiduspider。而不是baidubotseo网站排名优化百度吗?年代蜘蛛叫Baiduspider。而不是baidubot谷歌的广告。
1禁止所有搜索引擎访问网站的任何部分
用户代理:*
不允许:/
2允许所有的机器人访问(或者您也可以创建一个空文件/ robots . txt)
用户代理:*
允许:/
另一种写法是
用户代理:*
不允许:
3只有禁止Baiduspider访问你的网站
User-Disallow
用户代理:Baid: /
4。只允许访问你的网站Baiduspider
用户代理:Baiduspider
允许:/
5。蜘蛛是禁止访问特定目录
在这个例子中该网站有三个重要的目录搜索引擎。访问限制机器人不会访问这三个目录。应该注意的是每个目录必须单独宣布
不能写成“禁止:/目录/ / tmp /”。
用户代理:*
不允许:/目录/
不允许:/ tmp /
不允许:/
乔/6。允许访问一些url在一个特定的目录
用户代理:*
允许:/目录/看
允许:/ tmp /嗨
允许:/
乔/看7. 用“*”来限制访问url
?禁止访问/目录/目录所有url后缀“。htm”(包括子目录)。
用户代理:*
不允许:/目录/ * . htm
8. 使用“$”来限制访问url
只允许访问网址的后缀" . htm "。
用户代理:*
允许:美元/ . htm
9日禁止访问所有动态页面的网站
用户代理:*
不允许:/ * *
10、禁止Baiduspider抓住所有图片在网站上
只允许网页爬不允许爬照片。
用户代理:Baiduspider
不允许:美元/ * . jpg
不允许:美元/ * . jpeg
不允许:美元/ * gif
不允许:美元/ * . png
不允许:/ *。bmp $
11。只允许Baiduspider抓取网页和gif格式的照片
允许网页和gif格式的照片被抓住了但其他格式不允许
用户代理:Baiduspider
允许:。gif
不允许:美元/ jpg $
不允许:美元/ jpeg
不允许:美元/ png
不允许:美元/ bmp格式
12. 只有Baiduspider禁止捕捉jpg格式的照片
用户代理:Baiduspider
不允许:美元/ jpg