Baiduspider抓取過程中涉及的網絡協議  剛才提到百度搜索引擎會設計復雜的抓取策略,其實搜索引擎與資源提供者之間存在相互依賴的關系,其中搜索引擎需要站長為其提供資源,否則搜索引擎就無法滿足用戶檢索需求;而站長需要通過搜索引擎將自己的 內容推廣出去獲取更多的受眾.spider抓取系統直接涉及互聯網資源提供者的利益,為了使搜素引擎與站長能夠達到雙贏,在抓取過程中雙方必須遵守一定的 規范,以便于雙方的數據處理及對接.這種過程中遵守的規范也就是日常中我們所說的一些網絡協議.

  以下簡單列舉:

  http協議:超文本傳輸協議,是互聯網上應用最為廣泛的一種網絡協議,客戶端和服務器端請求和應答的標準.客戶端一般情況是指終端用戶,服務器端即指網 站.終端用戶通過瀏覽器、蜘蛛等向服務器指定端口發送http請求.發送http請求會返回對應的httpheader信息,可以看到包括是否成功、服務 器類型、網頁最近更新時間等內容.

  https協議:實際是加密版http,一種更加安全的數據傳輸協議.

  UA屬性:UA即user-agent,是http協議中的一個屬性,代表了終端的身份,向服務器端表明我是誰來干嘛,進而服務器端可以根據不同的身份來做出不同的反饋結果.

  robots協議:robots.txt是搜索引擎訪問一個網站時要訪問的第一個文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的. robots.txt必須放在網站根目錄下,且文件名要小寫.詳細的robots.txt寫法可參考 http://www.robotstxt.org .百度嚴格按照robots協議執行,另外,同樣支持網頁內容中添加的名為robots的meta標 簽,index、follow、nofollow等指令.

  Baiduspider抓取頻次原則及調整方法  Baiduspider根據上述網站設置的協議對站點頁面進行抓取,但是不可能做到對所有站點一視同仁,會綜合考慮站點實際情況確定一個抓取配額,每天定量抓取站點內容,即我們常說的抓取頻次.那么百度搜索引擎是根據什么指標來確定對一個網站的抓取頻次的呢,主要指標有四個:

  1,網站更新頻率:更新快多來,更新慢少來,直接影響Baiduspider的來訪頻率  2,網站更新質量:更新頻率提高了,僅僅是吸引了Baiduspier的注意,Baiduspider對質量是有嚴格要求的,如果網站每天更新出的大量內容都被Baiduspider判定為低質頁面,依然沒有意義.

  3,連通度:網站應該安全穩定、對Baiduspider保持暢通,經常給Baiduspider吃閉門羹可不是好事情  4,站點評價:百度搜索引擎對每個站點都會有一個評價,且這個評價會根據站點情況不斷變化,是百度搜索引擎對站點的一個基礎打分(絕非外界所說的百度權重),是百度內部一個非常機密的數據.站點評級從不獨立使用,會配合其它因子和閾值一起共同影響對網站的抓取和排序.

  抓取頻次間接決定著網站有多少頁面有可能被建庫收錄,如此重要的數值如果不符合站長預期該如何調整呢?百度站長平臺提供了抓取頻次工具(http://zhanzhang.baidu.com/pressure/index),并已完成多次升級.該工具除了提供抓取統計數據外,還提供"頻次調整"功能,站長根據實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據站長的意愿和實際情況進行調整.