百度蜘蛛也就是Baiduspider，其實百度蜘蛛是一種程序，夜以繼日得在互聯網上找尋新的URL，這種程序可以抓取互聯網上數以億計的網頁，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。百度的收錄也是通過百度蜘蛛這種程序去抓取完成的。

　　百度蜘蛛分為很多種，每種蜘蛛的功能都不一樣，其中Baiduspider是用來抓取網頁內容的程序，抓取其他內容的蜘蛛，則是新的名字：

　　產品名稱 對應user-agent

　　網頁搜索 Baiduspider

　　無線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯盟 Baiduspider-cpro

　　不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在我們明白它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。

　　百度蜘蛛抓取規則

　　(1)通過百度蜘蛛下載回來的網頁放到補充數據區，通過各種程序計算過后才放到檢索區，才會形成穩定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數據是不穩定的，有可能在各種計算的過程中給k掉，檢索區的數據排名是相對比較穩定的，百度目前是緩存機制和補充數據相結合的，正在向補充數據轉變，這也是目前百度收錄困難的原因，也是很多站點今天給k了明天又放出來的原因。

　　(2)深度優先和廣度優先，百度蜘蛛抓頁面的時候從起始站點(即種子站點指的是一些門戶站點)是廣度優先抓取是為了抓取更多的網址，深度優先抓取的目的是為了抓取高質量的網頁，這個策略是由調度來計算和分配的，百度蜘蛛只負責抓取，權重優先是指反向連接較多的頁面的優先抓取，這也是調度的一種策略，一般情況下網頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當然抓取的越多越好