理论上蜘蛛能匍匐和抓取一切页面

　　固然理论上蜘蛛能匍匐和抓取一切页面，但实践上不能、也不会这么做。 SEO人员要想让本人的更多页面被收录，就要想方设法吸收蜘蛛来抓取。既然不能抓取 一切页面，蜘蛛所要做的就是尽量抓取重要页面。哪些页面被以为比拟重要呢？有几方面影响要素。

　　网站和页面权重。质量高、资历老的网站被以为权重比拟高，这种网站上的页面被 匍匐的深度也会比拟高，所以会有更多内页被收录，页面更新度。蜘蛛每次匍匐都会把页面数据存储起来。假如第二次匍匐发现页面与 第一次收录的完整一样，阐明页面没有更新。

　　屡次抓取后蜘蛛会对页面更新频率有所了 解，不常更新的页面，蜘蛛也就没有必要经常抓取。假如页面内容经常更新，蜘蛛就会 愈加频繁地访问这种页面，页面上呈现的新链接，也自然会被蜘蛛更快地跟踪，抓取新 页面。

　　导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必需有 导入链接进入页面，否则蜘蛛基本没有时机晓得页面的存在。高质量的导入链接也经常 使页面上的导出链接被匍匐深度增加。