做SEO的，都要想让自己更多的页面被收录，想方设法吸引蜘蛛来抓取。如果不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。那些页面会被人为比较重要呢？
有几方面的音响因素：
一、网站的页面和权重
质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多的页面被收录。
二、页面更新度
蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行发现页面与第一次收录完全一样，说明页面没有更新，多次抓取后，蜘蛛会对页面更新频率有所了解，不常更新的页面，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁的访问这种页面，页面上出现的新连接，也自然会被蜘蛛更快的跟踪，抓取新页面。
三、导入链接
无论是外部链接，还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本就没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被深度爬行度增加。
四、与首页的点击距离
一般来说网站上权重最高的是首页，大部分外链都是指向首页的，蜘蛛访问最频繁的也是首页。因此，离首页点击距离越近，页面权重就越高，蜘蛛爬行的机会也越大。
五、URL结构
页面权重是在收录并进行迭代计算后才知道的，那么前面说的页面权重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道页面权重呢？所以蜘蛛要进行预判，除了链接，与首页距离、历史数据等因素外，短的、层次浅的URL也可能被直观的认为在网站上的权重相对较高。
六、引蜘蛛方式：
1、文本链接
2、超链
3、锚文本链接
这几种链接形式都可以引蜘蛛来访网页，只要这些链接都没被Nofollow，就会引导蜘蛛来访和传递权重，其中锚文本链接为最佳引蜘蛛方式，有利于关键词排名，例如友情链接中的关键词锚文本。
引蜘蛛不管哪种形式的链接都是一样的！无非就是加了NF标签的不能传递权重~ 但是锚链接更加适合用户点击的机制，所以比较好！如果你只是单独的想引蜘蛛，建议去你去哪种能够带连接的论坛！
对于重量大、资历老、权威大的蜘蛛，一定要特别对待。这种网站有很高的爬行频率，我们都知道搜索引擎蜘蛛，为了保证效率高，不会爬行网站的所有页面。网站的权重越高，爬行的深度就越高，相应地可以爬行的页面越多。