對于一個SEO新手來說，你不需要考慮太多的東西，明白了偽原創也是制勝的法寶的真諦，了解獲取外鏈資源的方法，足以讓你受益匪淺。而隨著SEO工作的不斷深入，你也就會慢慢的發現充分利用好網絡給予你的一針一線的重要性。了解搜索引擎的工作原理，其意義自然不在話下。

 

搜索引擎的工作原理，在我們的培訓中也經常會被提及，簡單來說，主要是三個步驟，爬行和抓取，預處理（因為索引是預處理中主要組成部分，故也有人將這一步稱為索引），排名。排名這一塊設計算法問題，暫且不去深究，這里主要說說爬行和抓取以及預處理兩個方面。

 

一、爬行和抓取

 

通過蜘蛛程序，各搜索引擎在訪問網站時都會先去查看網站根目錄下的robots.txt文件，從而獲取網站中被禁止爬取網址的信息。對于被禁止抓取部分的網址，不會被搜索引擎收錄，但是需要注意的一個現象是，百度目前會對部分將百度蜘蛛屏幕的網站以下列類似淘寶網的形式顯示，據個人不完全觀察發現，這種現象正逐漸變的普遍起來（特別強調一點，這不是說百度不遵守robots協議了，打開此類收錄網址的快照，你會發現快照為空）。

 

 

為了獲取更多的信息，蜘蛛會通過跟蹤頁面上的鏈接來抓取頁面。從理論上來說，蜘蛛可以通過鏈接抓取整個互聯網上的信息，但是在實際操作中，考慮到頁面的復雜程度，蜘蛛會采取深度抓取和廣度抓取兩種方式來進行頁面抓取的工作。為了避免重復爬行和抓取，搜索引擎會建立包括已發現但未被抓取以及已被抓取的兩個網頁地址庫進行參考對比，而被抓取的頁面會進入原始的頁面數據庫。到此為止，原始數據庫的建立就告一段落了。

 

二、預處理（索引）階段

 

原始數據庫建立完畢，搜索引擎會對網頁進行文字提取的處理，當然，除了頁面上顯示的文字外，搜索引擎還會對諸如meta標簽、flash替代文件，錨文本、alt標簽等部分的文字進行提取。提取文字完畢，便會進入下一個階段：分詞。

 

不管百度算法多么垃圾，但是不可否認的是，百度的中文分詞技術在搜索引擎中的霸主地位無人可以撼動。對于頁面上抓取到的文字，搜素引擎會進行分詞處理，比如將“瘦小腿方法”分為“瘦小腿”、“方法”兩個部分。而分詞的方法，一般會有詞典與統計兩種手段。詞典嘛，不需要太多解釋；至于統計，是指通過分析大量文本從而計算字與字之間相鄰出現的概率，概率越大，越容易形成一個詞。百度目前是將兩種方法結合使用，來達到最佳的效果。

 

或許說到這里，大家會問，針對一些中文中常出現的詞，比如“的”、“了”、“呀”之類沒有實際意義但是使用頻率又很高的詞，會怎么樣處理呢？答案是剔除，從而提高搜索引擎的計算效率。

 

在瀏覽網頁的信息時，我們會發現，有一些板塊，在網站是重復出現的，比如“導航”、“廣告”等，這部分東西，對于所屬頁面的顯示內容來說，并沒有實際的意義。自然的，搜索引擎也會將此部分內容進行處理，從而篩選出所收錄頁面闡述表達內容的最終文字部分。當然，文字部分篩選出來之后，搜索引擎還會對各個網頁上所顯示的最終文字內容進行對比，從而刪除掉重復的內容進行顯示。圖文并茂，是提升用戶體驗的一種有效方式。在日常的SEO工作中，我們往往會重視文字而忽視圖片的優化，或者只是在圖片中添加一個alt標簽。其實，圖片優化這一塊，可以做的還有很多，下面簡單的說五點。

 

給你的圖片起個好的名稱

 

很多網站的圖片名稱，都會用1.jpg、2.jgp等字眼來表述。其實這樣的圖片名稱對于搜索引擎和用戶來說毫無意義。在谷歌的網站質量指南中，明確指出如果網站中沒有任何描述圖片的信息，那么在搜索返回的結果中會考慮使用圖片的名稱。如果你在描述手機的網頁中出現了一張圖片，那么就建議你給圖片命名為phone.jpg。phone與手機緊密相連，會凸顯您的網頁主題。

 

給你的圖片加上長和寬

 

關于這一點，Bruce在培訓中給我們做出了解釋，這里再重復一下。加上長和寬，瀏覽器會按照設置給圖片留出位置，同時加載其它網頁組件。換句話說，就是不用在加載圖片完畢之后加載其它組件，而是同時進行。這樣可以大大加快網頁的加載速度，提升用戶體驗。

 

給你的圖片目錄做好分類

 

大家都知道，搜索引擎是看不懂圖片的。如果能將描述手機的圖片放在文件目錄phone中，將描述電腦的圖片放在文件目錄computer中。會十分有利于搜索引擎對圖片主題的判斷。

 

給你的圖片進行保質的瘦身

 

為提高網頁的加載速度，就難免涉及到壓縮圖片，給圖片進行瘦身。當然，這點需要在保證圖片質量的前提下進行，即對圖片進行無損壓縮。

 

CSS精靈，給你的圖片做個合并

 

CSS精靈，即CSS sprites技術。其主要作用是將一些小圖片合并在一張圖中，利用CSS控制位置技術來分別調用合并后圖片的不同部分。其目的是減少對HTTP的請求次數，提高網頁的加載速度。

 

好了，經過上述的幾個步驟，就可以建立索引庫了，此時的索引會分為正向索引和倒排索引兩個階段。正向索引，可以簡單的理解為將收錄頁面的網址為主鍵，以該頁面上進行分詞處理之后的結果為內容建立起的數據庫，如下圖所示。

 

 

正向索引結束，我們可以發現還不能用于排名，這時就需要倒排索引，即以關鍵詞為主鍵，以包含該關鍵詞的網址及對應內容為內容建立索引數據庫，如下圖所示。

 

 

至此，搜索引擎再通過對鏈接分析以及特殊文件的處理，預處理（索引）階段也就落下帷幕了。從中我們也可以看出，深入了解了搜索引擎原理，對于日常的SEO工作理解以及啟發作用還是十分明顯的。比如，你在偽原創的過程中，只是草草的給一些文章加一些簡單的助詞或者對小部分的文字內容進行簡單的修改，不好意思，你的文章在預處理甚至是爬行和抓取階段就被pass了。