蜘蛛黑洞：
蜘蛛黑洞指的是网站经过极矮的成本经营，创造出洪量和实质了解然而参数不共的理想URL ，像一个无限轮回的“黑洞”将蜘蛛困住，蜘蛛耗费太多的时间在网站，浪费了洪量资材抓取的网页为作废网页。
假如你的网站存留蜘蛛黑洞局面，尽量的处置好，蜘蛛黑洞不必处网站的收录，也会效率搜寻引擎闭于网站的评分。
何如样运用Robots制止蜘蛛黑洞？
何如样运用Robots制止蜘蛛黑洞安排：
普遍的挑选截止页基础都是运用固态链接，比方：
http:// bj.XXXXX. com/category/zizhucan/weigongcun
当用户采用不共排序后，会自动天生戴有不共参数的理想链接，纵然采用是普遍种排序前提，天生的参数也有不共的，比方：
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
把戴有不共参数的截止排序页面运用robots规则中断，奉告搜寻引擎，让搜寻引擎只抓取挑选截止页，为用户和搜寻引擎俭朴时间。
Robots文件写法中Disallow: /*?* 遏止考察网站中十脚包括问号 (?) 的网址，经过这种办法，假如网站的作废页面不憧憬被搜寻引擎收录，不妨樊篱掉矮品质的页面，奉告搜寻引擎哪些页面不妨抓取，灵验的制止黑洞的产生。
观赏本文的人还不妨观赏：
Robots.txt 文件应放在何处？
robots.txt文件有什么需要？
robots.txt