由于网站规模大、结构复杂、版本更改不完整，导致一些角落出现新内容、旧条目，很多朋友并没有删除所有条目页面。只要链接地址还是旧的，就可以记录下来。
查看全文我们经常接触到一些中小型网站，往往在某个时间网站的内容很难定期更新，在网站权重不特别高的情况下，其实蜘蛛很少访问我们的网站，所以多次更新自己网站的文章，蜘蛛不爬行，搜索引擎。他们甚至不知道网站上有这个。
查看全文许多CMS系统以图片+标题的形式显示文章。如果你仔细发现点击图片和标题可以访问，这也会导致蜘蛛磨损和迷路。您可以使用nofollow标记来阻止图片链接并保留标题链接。
查看全文大量静态页的产生和读写，对磁盘造成一定的损失。如果有不好的方法，标识会影响文件的存储，导致一些静态的URL无法正确打开，影响搜索引擎排名的稳定性。
查看全文