搜索引擎每天處理著數以億計的查詢請求,每個查詢請求都代表了一個用戶對于某種資源的特定需求.多數時候,通過查詢返回的網頁結果,這些需求被滿足了,我們可以認為結果中的某些頁面對特定用戶的特定需求產生了價值.那么對于搜索引擎而言,頁面的價值是指什么,我們為什么要研究頁面價值,技術上怎樣判斷頁面的價值呢?本文將逐一回答這些問題.

    一、什么頁面價值

    前面我們說了,某個頁面滿足了某一用戶的特定需求,就體現了這個頁面對用戶的價值.那么對搜索引擎而言,價值體現在哪些方面呢?一個簡單的推論,所有可能會對用戶產生價值的頁面都是對搜索引擎有價值的,將這些頁面建入搜索引擎的索引中能夠滿足最終檢索到它們用戶的需求,我們稱這種價值為檢索價值.只要是能解決某個用戶信息需求的,并且是可以通過某些正常檢索需求到達的,那么就是有檢索價值的.

    小學生張三喜歡在qzone上寫日記,寫他前天吃了什么,今天玩了什么.這些內容,是有價值的.它們對張三的家長、同學、老師,以及其他小學生,和對小學生日記感興趣的人來說,都是有價值的.對于這個信息體來說,"張三"這個名字是檢索的"key".

    有一些信息單元,只有"瀏覽"價值,而沒有到達該信息的檢索途徑,那么該資源可能是有價值的,但檢索價值就很低.比如一張百度大廈附近的地圖,從瀏覽角度,是有價值的;但是如果沒有任何周邊文字說明(或者link的anchor text),只有一張光禿禿的地圖,就沒有檢索價值.當然,如果圖片的內容識別技術,有朝一日能自動識別出這個是"百度大廈附近地圖",或者能夠自動分析出地圖內的各種大廈、街道、餐館等的名稱,那么這張圖一樣變得有檢索價值了.所以一個頁面是否有檢索價值,應該取決于兩點:

    1) 是否能解決某個特定的需求(價值)

    2) 是否可以通過某個常規的搜索方式獲得該信息(檢索)

    那么,沒有檢索價值的頁面,是否對搜索引擎就沒有價值了呢?仔細想想,答案是否定的.索引只是搜索引擎的一個環節,對于其他環節而言,沒有檢索價值的頁面有可能對我們更好的收錄那些檢索價值高的頁面有幫助.比如對負責抓取互聯網資源的spider而言,有一些頁面,本身沒有檢索價值,但通過這些頁面的抓取和分析,能夠更快的幫助我們掌握這一類頁面沒有檢索價值這一重要信息,從而節省更多的流量進行更加有效的抓取.

    考慮到這種價值可以算作一種"間接的"檢索價值,最終還是立足于索引價值的,在本文中就不再展開論述,我們只關注"檢索價值"這一根本問題.下文中提到的"頁面價值"特指頁面的"檢索價值".

    二、為什么要研究頁面價值

    首先,互聯網上的頁面是無窮盡的,而搜索引擎的硬件資源是有限的,想用有限的資源去覆蓋無窮盡的互聯網,我們就需要對頁面價值做出判斷,不收錄那些無檢索價值的頁面,少收錄那些檢索價值低的頁面.這是頁面價值在收錄控制方面的應用.

    第二,搜索引擎spider的抓取能力是有限的,出于訪問友好性的考慮,對于一個網站或一個IP抓取速率需要有一個抓取速率的上限.在這一限制下,抓取或頁面更新就需要有一個先后順序,而這一排序的主要參考依據就是頁面價值,或者說對頁面價值的預測(未抓取時).這是頁面價值在spider調度方面的應用.

    第三,對于某些頁面,頁面內容發生變化,導致它的檢索價值從有到無,典型的就是變為"死鏈",或者"被黑".對于這些頁面,好的搜索引擎會在第一時間將其排除出索引,或在檢索時對其進行屏蔽,以保證返回給用戶的結果是更多檢索價值高的"好頁面".對于另一些頁面,它不僅具有很高的檢索價值,而且有很強的"時效性",能夠第一時間讓用戶檢索到這些頁面對搜索體驗有很大的提升.對搜索引擎而言,越快的收錄和索引頁面意味著越多的額外資源開銷,以多快的速度收錄和以多短的周期更新索引,需要通過頁面價值的分析來指導.這兩方面是頁面價值在死鏈率和時效性兩大搜索引擎指標提升上的應用.

    最后,普遍意義上的頁面價值高低對搜索引擎返回給用戶的結果排序上也存在著指導意義.理想情況下搜索引擎的結果是按照與查詢請求的相關性進行排序的,在相關性大體相當的情況下,用戶更傾向與瀏覽普遍意義上頁面價值高的網頁.這是頁面價值在ranking方面的應用.

    可以說,頁面檢索價值的研究是搜索引擎中的一項較為基礎的工作,對頁面價值的認識和判斷的準確程度直接影響著搜索引擎的覆蓋率、死鏈率、時效性等幾大主要指標.

    三、如何判斷頁面價值

    前文中提到過一個小學生張三qzone日記的例子.我們認為這個頁面是有價值的,對張三的同學,朋友,家人都有價值.與此類似的,百度CEO李彥宏在i貼吧上發表一條十幾個字的i貼,也是有價值的,對李彥宏的上千萬粉絲都有價值.雖然李彥宏的i貼長度可能遠小于張三的日記,但就這兩個頁面的價值來說,我們都會有一個共同的認識,即從普遍意義上講,李彥宏的i貼價值遠大于張三的日記.(當然,對于張三的媽媽來說很可能這個價值的關系是相反的)

    再舉個例子,搜索某個人的手機號碼,搜索引擎返回了一個結果,是這個人在某個論壇上的一個回復.雖然這個手機號碼關心的人不多,但因為資源是絕對稀缺的,對于關心這個手機號碼的查詢需求,這個頁面是完全不可替代的,因此具有極高的價值.

    另外,頁面檢索價值,還受到頁面質量的影響.相似的頁面,對于滿足用戶需求來說,往往會有很大差異,比如資源下載速度,頁面的布局,廣告的多寡.這類差異,姑且稱之為頁面質量.

    最后,有些頁面具有明顯的公眾話題性質,且這些資源往往在剛剛產生時有非常高的關注度,隨著時間的推移熱度顯著下降,有著"新聞"的特征.典型的像各種"門"事件,地震、火災等大型的自然災害.我們認為這類資源具有"時效性"特征.

    所以,一個頁面的檢索價值,大致受以下四個要素的影響:

    感興趣的受眾群大小

    該頁面的稀缺程度(可替代性)

    該頁面的質量高低

    該頁面的時效性特征強弱

    這四種要素,簡稱受眾,稀缺,質量和時效性.