主流的搜索引擎都聲稱自己的spider對(duì)網(wǎng)站的抓取行為和普通用戶的訪問行為沒有太大的區(qū)別。

　　站在用戶的立場(chǎng)來理解這句話是沒有問題的，但是站在站長(zhǎng)和SEO的角度這句話就不太正確了。

　　在網(wǎng)頁上其實(shí)有很多東西普通用戶是看不到的也分不清楚的，但是spider卻是可以看到的，網(wǎng)頁上也有很多東西普通用戶可以看到，但是spider卻是視而不見的。

　　如何看待網(wǎng)頁，spider和普通用戶是有一些區(qū)別的，具體表現(xiàn)在以下方面：

　　1、 網(wǎng)頁中的隱藏內(nèi)容，是否被掛了黑鏈等這些spider是無法分辨得出來的。網(wǎng)站中的圖片文件也是spider無法分辨的，更不能讀取JS，Iframe，Ajax和Flash中的內(nèi)容，普通用戶卻是相關(guān)的，這些普通用戶都是可以看到的。

　　2、 Spider沒有Referer，對(duì)網(wǎng)站的抓取全部都是直接訪問的，而普通用戶出來直接訪問的用戶外一般都是由Referer的。

　　3、 Spider對(duì)網(wǎng)站的訪問是不存在Cookie的，但是普通用戶訪問網(wǎng)站是會(huì)產(chǎn)生cookie記錄的。

　　4、 Spider不會(huì)主動(dòng)注冊(cè)登入網(wǎng)站，但是普通的用戶卻是可以的，原則上spider不會(huì)抓取和分析網(wǎng)站robots中限制的內(nèi)容，但是普通的用戶是可以正常訪問的。

　　5、 Spider對(duì)于有動(dòng)態(tài)的參數(shù)URL可以能會(huì)陷入死循環(huán)，但是普通的用戶是不會(huì)的。

　　6、 Spider對(duì)列表中前幾頁的新內(nèi)容可能抓取不好，但是普通用戶對(duì)感興趣的內(nèi)容是可以瀏覽的

　　7、 Spider只是機(jī)械的判斷文章的原偽度，但是普通用戶可以通過多角度來對(duì)一篇文章進(jìn)行判斷甄別。　　了解了spider和普通用戶的區(qū)別，我們?cè)谌粘５膬?yōu)化過程中，在不影響用戶體驗(yàn)，不使用作弊手法的情況下，迎合搜索引擎spider的習(xí)慣，最大可能的提高網(wǎng)站在搜索引擎中的表現(xiàn)。而誤導(dǎo)spider，鉆spider空子的做法雖可能短期從搜索引擎中獲得搜索流量但不會(huì)長(zhǎng)久，還是不可取得。以用戶為中心，最大可能的滿足用戶的需求才是正道。