連通率為零的原因以及解決方案




一、何謂連通率既然為率,那么就是一個統計相關概念。我們不妨可以這樣理解一個網站的連通率:百度蜘蛛在抓取網站頁面的時候計算的一個概率,比如它抓取某網站中的N個頁面,這N個頁面都能打開并被蜘蛛成功抓取,這樣的連通率就是N/N=100%,反之蜘蛛抓取N個頁面有M個頁面能成功抓取,連通率就是M/N這里先說明幾個常識:
1、不是網站被某算法懲罰而導致連通率為0,也不是網站流量下降而導致連通率數值很低;2、連通率代表著百度蜘蛛獲取網站數據的情況,如果連通率數值很低或為0,那么可能連維持網站的正常收錄等都成問題;3、假如網站被判定連通不了,那么如果讓一個連通不了的站點在百度中獲取排名,就會大大影響搜索用戶的體驗,于是百度就會采取對該站點有效引流的索引清除操作,一些站長就會發現自己的網站索引量突然大幅度下降,甚至索引被短暫清0了,接著就是網站百度搜索流量大幅度下降,這種突發性的事件又會造成站長們的揣測,以為自己的網站被百度懲罰了,其實站長們先應該注意的是站點的連通情況。
二、提取核心詞上述概念中,我們需要注意的幾個詞有:”百度蜘蛛”; ”在抓取”; ”N個頁面”; ”M個頁面”; ”都能打開并被成功抓取”。
三、連通率很低或為0時我們抓住上述5個提取出的核心詞進行分析。
(一)百度蜘蛛1、謹防百度蜘蛛訪問被操控或禁止(1)由于百度蜘蛛的抓取量等原因對一些服務器造成壓力,而這些網絡商或網站運營方從某利益角度考慮,無意或有意的屏蔽百度蜘蛛,導致部分或全部百度蜘蛛ip獲取不到網站數據;(2)一些網站運營方或網絡商對蜘蛛進行區別對待,比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數據,移花接木的手段層出不窮,而這個過程很可能造成百度蜘蛛的異常行為或異常狀態返回;所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。
2、預防措施(1)完善聯系方式獲得百度站長工具消息提醒雖然一些網站異常情況會收到百度站長工具消息提醒,然而我想告訴大家不是所有自己站點異常都可以寄希望于消息提醒的,自己心里要知道連發郵件都可能出現收不到的情況,更何況各種復雜的異常情況,因此不要出問題了只會問“為什么站長工具沒有給我發消息”。
(2)利用抓取異常和抓取頻次工具觀察抓取情況↓抓取異常工具的網址異常情況↓抓取頻次工具的抓取統計情況↓每個工具頁面的右側下方都有使用說明,如下(3)抓取診斷工具是重中之重為了保證網站對百度蜘蛛的穩定訪問性能,日常我們需要養成定期抓取診斷的習慣,另外抓取診斷不是說光看看狀態是否“抓取成功”就行了。有下面幾步進行:
第一步:下拉選擇分”pc”、 ”移動”進行抓取,”pc”意味著一般意義上的電腦端訪問診斷,”移動”則是如手機、平板等移動設備端訪問診斷;第二步:網站主要的引流頁,如首頁、詳情頁、內容頁、專題頁等都要進行抓取,另外可以重點幾個時間段(比如網站高峰時間段)每天定期進行測試;第三步:抓取失敗了,點擊”抓取失敗”查看提示信息,如果自己沒有技術能力解決問題,可以跟空間商進行溝通,然后向工具提交報錯;第四步:抓取成功后,也不能說就萬事大吉了,還要點擊”抓取成功”進去注意:提交網址、抓取網址、抓取UA、網站ip、下載時長、頭部信息(服務器返回狀態碼、gzip等相關信息)、網頁源碼是否都正常。
特別說明:有很多站長就光注意抓取成功,卻不知網站ip可能并非自己的實際ip,被網絡商搞到哪里去了都不知道,還可能每隔一段時間都變。當發現ip有問題,及時跟網絡商溝通,并在網站ip旁點擊“報錯”按鈕,百度會更新網站ip,但是切記不要ip變化頻繁。此外當然還可能出現實際抓取網址、頭部信息、網頁源碼等都不是自己本來設置的。
(二)在抓取這是反映百度蜘蛛在抓取時的狀態,百度的工具顯示的數值肯定都是抓取后計算出來的數據,因此任何工具的連通率數據必定存在延遲性,另外這個計算過程也存在一定可能的錯誤,所以我們看到任何工具中關于連通率的數據,不要說“我網站用抓取診斷等工具檢查訪問情況都好好的,為什么連通率還是0”,因此除了上述建議的多抓取診斷測試外,自己可以加些監控網站連接狀態的措施,筆者本人就曾經接收了不少關于網站連接不通的提醒。這時我會及時跟網絡商溝通,然后及時用抓取診斷檢查蜘蛛的情況。
(三)N個頁面與M個頁面這N、M個頁面,可能百度蜘蛛很湊巧就趕上高峰的時候或者一些假死頁面(執行時間較長,超過蜘蛛的耐心),那么M這個數值就會很低,統計概率的東西大家都懂的,那么這時網站的連通率依舊很低或為0。因此若連通率為0,我們還可以知道自己應該注意查看訪問日志,及時清理死鏈,或者并發連接數增大,或者增加內存等等。
(四)都能打開并被成功抓取這里主要注意DNS和空間的穩定性。
1、DNS的問題。當心dns服務器不穩導致站點被屏近期百度站長平臺收到多個反饋,稱網站從百度網頁搜索消失,site查詢發現連通率為0。
經追查發現這些網站都使用godaddy的DNS服務器 *.DOMAINCONTROL.COM,此系列DNS服務器存在穩定性問題,Baiduspider經常解析不到ip,在Baiduspider看來,網站是死站點。
此前我們也發現過多起小dns服務商屏蔽Baiduspider解析請求或者國外dns服務器不穩定的案例。
建議站長盡可能使用國內大型服務商提供的DNS服務,如dnspod等,以保證站點的穩定解析。
筆者提醒大家注意的是現在不少云類ns服務器,這個過程中由于處理機制問題,包括回源障礙等等,較容易造成這個問題。另外國內大型服務商提供,比如你使用了dnspod,并不代表你的dns就應該是ok的。有的站長存在著對大型服務商的錯誤認識,如 “新網的dns就是不可靠的,我都用百度云加速”。我們要明白廉價的東西質量都有一定局限性,所以需要自己檢查dns解析情況,具體上網找找相關資料或平臺,看看dns解析出的ip以及解析延遲情況等等。
2、空間的穩定性很多人都會用超級ping了,這個不多說了。但是我還要告訴大家有下面兩點需要注意:
A、不良的網絡商會對不同用戶ip進行不同處理,自己可以用vpn等工具觀察下不同地區ip段的網站訪問情況與返回內容;
B、空間的資源不足,內存、并發連接等等,當訪問量很少的時候,自己察覺不出,需要提高訪問量,增加連接時間。因此使用一些監控工具時,發現監控工具訪問測試量巨大,或者被人刷流量時,你應該慶幸,而不是著急拒絕,因為你可以了解到自己的空間承壓能力。
四、連通率問題處理完畢后如果你的網站索引由于連通率而非懲罰原因被清理了,處理完畢問題,可以在抓取頻次工具中提交增加抓取頻次的請求,將抓取頻次增加到一定額度(建議自己查看工具中對抓取頻次的說明后再根據網站實際情況調整),然后增加自己的網站數據更新頻率與質量,加強與百度的數據溝通(如url提交、sitemap等等),很快就能恢復。相關工具展示如下(每個工具頁面的右側下方都有相關說明鏈接,可以點擊去了解使用注意事項):
1、抓取頻次中的頻次調整工具:
2、url提交工具:
3、Sitemap工具中的定期更新、實時推送工具:
4、Ping工具: