站長朋友們都了解，搜索引擎蜘蛛程序通過域名進(jìn)入網(wǎng)站，從而開展對頁面的抓取，蜘蛛從指定的頁面出發(fā)，沿著頁面中的鏈接，按照某種特定的策略對網(wǎng)站中的頁面進(jìn)行遍歷，收錄未訪問的網(wǎng)頁，然后搜索引擎再對網(wǎng)頁內(nèi)容進(jìn)行判斷，決定是否收錄入數(shù)據(jù)庫。

目前，常見的搜索引擎收錄方式主要廣度優(yōu)先，深度優(yōu)化和用戶提交這幾種方式，這幾種方式的結(jié)合，從而讓搜索引擎蜘蛛化的能夠遍歷網(wǎng)站的所有頁面，從而加以收錄，但是如果網(wǎng)站的結(jié)構(gòu)設(shè)置的不好，那么很容易導(dǎo)致蜘蛛無法爬行到某些頁面，自然也無法收錄。事實(shí)上，網(wǎng)站結(jié)構(gòu)在決定頁面權(quán)重方面起著非常關(guān)鍵的作用，直接影響搜索引擎對頁面的收錄，一個設(shè)計合理的網(wǎng)站結(jié)構(gòu)可以引導(dǎo)搜索引擎從中抓取到更多、更有價值的頁面。

那么，我們?nèi)绾胃鶕?jù)頁面的收錄原理來進(jìn)行網(wǎng)站的優(yōu)化工作呢？事實(shí)上，蜘蛛是通過連接不斷爬行，無論是采用深度優(yōu)先還是廣度優(yōu)先，由于蜘蛛的能力有限，只能爬到一定的地方，這要求我們盡量減少頁面的目錄深度及與重要頁面之間的鏈接深度，從而有利于蜘蛛的爬行，具體分析如下：

一、減少頁面的目錄深度

減少頁面的目錄深度，實(shí)際上是減少頁面URL的目錄層次，新手朋友可以從一下幾個方面入手：

1.對于全靜態(tài)頁面的網(wǎng)站，在規(guī)劃網(wǎng)站時要精簡目錄結(jié)構(gòu)，比如http://www.xxx.com/ck/HTML/1.shtml，我們在規(guī)劃目錄時，可以精簡為http://www.xxx.com/ck/1.shtml等。

2.對于動態(tài)頁面的網(wǎng)站，則可以通過 URL 重寫的方式減少頁面的 URL 的目錄層次。在實(shí)際操作中，我們會通過URL重寫的方式使得網(wǎng)站中的每個頁面的URL深度都為1，即URL 形式為 http://域名/文件名稱。

二、一個頁面的鏈接數(shù)量不要超過100

這是很多站長朋友所忽略的，事實(shí)上，如果一個頁面中的鏈接數(shù)量超過100，搜索引擎可能拒絕索引該頁面，或者忽略 100 以后的那部分鏈接指向的目標(biāo)頁面。這是一個很關(guān)鍵的內(nèi)容，很多站長朋友并沒有意識到這點(diǎn)，所以很多時候超過100的那部分鏈接已經(jīng)沒有意義，不被搜搜引擎蜘蛛所爬行，那么這部分的鏈接所指向的頁面不會被收錄，所以如果要想這部分鏈接所指向的頁面被收錄，我們要另外做鏈接導(dǎo)入。

小肖認(rèn)為，良好的網(wǎng)站結(jié)構(gòu)是平鋪結(jié)構(gòu)，可惜這種結(jié)構(gòu)不適用于大部分站，但是針對大部分站，我們還是可以好好的進(jìn)行設(shè)計，遵循上面的三點(diǎn)原則，可以導(dǎo)致蜘蛛爬行到所有的頁面，從而有利于網(wǎng)站的收錄。

三、減少頁面之間的鏈接深度

減少頁面之間的鏈接深度包括減少普通頁面與重要頁面之間、重要頁面與重要頁面之間的鏈接深度，可以從以下幾點(diǎn)入手：

1.為網(wǎng)站中相對重要的頁面增加更多的鏈接入口。在相對重要的頁面中存放更多鏈接指向其他的頁面，這樣不但可以減少頁面之間的鏈接深度，還可以引導(dǎo)搜索引擎抓取網(wǎng)站中更多相對重要的頁面。舉個簡單的例子，我們網(wǎng)站的首頁可以在合理的范圍內(nèi)加上更多指向其他相對重要的頁面的鏈接。這樣有利于蜘蛛的爬行收錄。

2.如果我們要突出某個重要的頁面，可以在更多的頁面中加上鏈接指向這個頁面，可以化的保證這個重要頁面的收錄和提高這個頁面的權(quán)重。

3.用心制作好網(wǎng)站地圖。網(wǎng)站地圖起到了減少頁面之間的鏈接深度，有利于蜘蛛查找到更多的頁面。