搜索引擎蜘蛛對搜索引擎來說就是信息來源，對于網站站長，總是希望網站對搜索引擎蜘蛛友好，希望蜘蛛能在自己的網站待會多抓取點網頁。其實這些蜘蛛 又何嘗不想多抓取點頁面，多更新點頁面呢，只不過互聯網信息過于巨大，有時候蜘蛛也是力不能及。這就引出了對搜索引擎蜘蛛對內容的一個考核，最主要的考核標準有三:抓取網頁覆蓋率、抓取網頁時效性及抓取網頁的重要性。

1、抓取網頁覆蓋率

對于現在的搜索引擎來說，還沒有哪個搜索引擎能抓取互聯網上出現的所有網頁，所有搜索引擎只能索引互聯網的一部分而已，這里就有一個概念——“暗網”，暗 網是指目前搜索引擎蜘蛛按照常規方式很難抓取到的互聯網頁面，蜘蛛是依賴頁面中的鏈接發現新的頁面，進而抓取索引，但是很多頁面內容是以數據庫方式存儲 的。這樣蜘蛛很難或無法抓取這些信息，結果就是用戶也無法在搜索引擎搜索得到這些信息。SEO藝術

抓取網頁覆蓋率指的是蜘蛛抓取的網頁數量占互聯網所有網頁數量的比例，很明顯，這個覆蓋率越高，搜索引擎所能索引排名的數量級也就越大，能夠參與比較展現 的搜索結果也就越多，用戶搜索體驗也越好。所以為了讓用戶在搜索時可以得到更精準、更全面的結果，**抓取網頁覆蓋率至關重要，而除了抓取方式的提高，對 暗網數據的抓取已成為各大搜索引擎的重要研究方向。

由此可見，抓取網頁覆蓋率是考核搜索引擎蜘蛛的一個關鍵標準，這是一個很大的基數，關乎到后面的索引量、排序量和展現量等，對于用戶搜索體驗至關重要。

2、抓取網頁時效性

說到用戶的搜索體驗，網頁的時效性相對覆蓋率句更加直觀了，比如你在搜索結果搜索到了一個結果，當你點擊后頁面是不存在的，作何感想？搜索引擎是在努力避 免這些的，所以蜘蛛抓取網頁時效性同樣是一個重要考核點。互聯網信息比較多，蜘蛛抓取一輪需要較長的時間周期，這個時間內之前建立索引的很多網頁可能已經 發生變化或者被刪除，這就導致搜索結果中有一部分是過期的數據。最優的seo優化解決方案

用一句話就是蜘蛛不能在網頁變化后第一時間將這些變化反映到網頁庫中，這樣問題就來了，首先比如頁面只是內容發生變化，搜索引擎不能及時的去重新比較這些 變化，給予用戶更合理的排名。其次，如果排在搜索結果前面的頁面已經被刪除了，由于沒有及時抓取更新，還排在重要位置，那么無疑對用戶是一種傷害。最后， 很多人會在頁面收錄后另外加一些不好的信息，這樣用之前的排名展現現在的信息，下次蜘蛛更新才會處理。

所以對于搜索引擎而言，肯定是希望數據庫內網頁能及時更新的，網頁庫過期的數據越少，則網頁的時效性越好，這對用戶體驗的作用不言而喻。

3、抓取網頁的重要性

蜘蛛抓取了很多內容，也及時更新了，但如果抓取的都是一些低質量內容，那肯定是不行的。盡管要多抓勤抓，但是每個網頁重要性差異很大，這就是矛盾的地方， 搜索引擎蜘蛛不僅要干得多、干得快、還要干得好。所以必然會優先照顧部分能經常**高質量內容的網站，特別是定時定量更新的，這樣才能最大程度上保證優質 內容不被漏掉，這也可以說是沒辦法的辦法。如果搜索引擎蜘蛛抓回的網頁大都是比較重要的網頁，則可說其在抓取網頁重要性方面做得很好。SEO交流

總而言之，目前的搜索引擎蜘蛛由于種種原因限制，只能抓取互聯網部分網頁的，所以在努力抓取盡可能多頁面的同時會盡可能選擇比較重要的那部分頁面來索引， 而對于己經抓取到的網頁，也會盡可能快地更新其內容。注意所有的這些都是盡可能而已，所以這是各大搜索引擎努力的方向。如果這3個方面都做得好，搜索引擎 用戶體驗肯定會更好。