該經驗分享主要是幫助一部分朋友在日常網站改版中規則遲遲不生效、同樣內容多套URL被收錄問題，其實這個問題在很早之前也困擾過我，后面經過man_hok大師指導后才發現問題的最終原因在于老的鏈接還存在，所以導致網站改版失效、新的內容老的url還會被收錄。

　　如果你遇到如下的問題，就該考慮是否老的入口還沒有關閉：

　　1.網站改版不生效、部分不生效、生效周期超長。

　　2.一個同樣的內容百度收錄多份URL。

　　3.百度經常抓取一些不存在的頁面。

　　主要問題的癥結在于：

　　1.網站內部存在老的鏈接入口。

　　2.如果是同內容多套URL的問題，還要考慮網站是否存在泛解析，或改目錄泛解析。

　　3.外部存在錯誤鏈接導向。

　　解決辦法綱要：

　　1.網站內部的老鏈接可以由程序猿或者SEO來排查，從程序中、頁面里刪除或替換成新url格式。

　　2.泛解析的關閉，同時記得處理一下因此帶來的死鏈問題。

　　3.外部存在錯誤鏈接導向的話，可控的參照（1）來解決，不可控的一定要把站內的錯誤鏈接返回404.

　　站內查找錯誤鏈接的方法

　　很多朋友跟我一樣，很難讓技術去排查這種問題，即便真去排查了，也沒有幾個能夠排查出問題的。

　　老板罵的又是我們自己，咋整？還是我們自己動手想辦法解決。

　　這邊教程我推薦使用的XENU，相信大家都聽到過了，為了方便大家排查，我這里做一個簡單使用教程給大家，通過XENU我們可以很好的遍歷整個站點，找到一些錯誤，沒有上述問題的朋友也可以通過該工具遍歷來了解站點存在的錯誤，好！廢話不多說。

　　1.首先我們來新建遍歷網站，一般情況下，我建議有多域且頁面較多一個一個域來排查，否則很容易產生死角。打開xenu后 文件-檢查網址即可新建一個項目。

　　2.配置項目，我們可以在這里輸入我們要排查的網址，多子域且子域內容較多的建議一個子域一個子域進行排查，不建議勾選檢查外部鏈接。在使用過程中大家可以把一些不必要檢查的項目排除掉，這樣會提高遍歷的速度。

　　3.高級配置。這一步一般站點收錄量不大，對性能要求不高的可以不用設置，直接跳過這步。

　　在更多選擇中我們可以設置線程數，線程數越高速度越快，同時占用系統資源越高，對站點的壓力也會越大，如果站點的服務器空間性能不是特別好，或者在使用該工具過程中遇到站點掛了。可以在這里減少增加線程，部分電腦比較卡的也可以通過調低線程數量來緩解卡頓。

　　這里有一個層數建議大家要特別注意，因為這涉及到遍歷的邏輯，一般情況寫3-5即可，看網站的層級是否復雜，如果遍歷出來的結果不夠完整，大家可以調高最大層數。

　　4.設置完成后點擊確定，程序就會開始遍歷URL，這個時候建議數量較多的不要把程序放本地電腦，以免影響工作。

　　5.程序跑完后會詢問是否需要報表，看大家需要可以自動生成報表，不過在這里我建議一部分朋友，第一次跑完后點菜單欄：文件-重試無法訪問的鏈接。在讓程序確認一遍這些鏈接是否是真的無法訪問。

　　6.在說明一下，在這里列出的鏈接除了200狀態外，其他的都在，包括301的也在這里顯示。從上圖大家可以看到，我還有很多這樣錯誤的301鏈接還存在對外入口。那么這些鏈接我必須刪除或者替換成為新的鏈接格式。查看方式很簡單，點擊鏈接右鍵屬性，就可以看到這個錯誤的鏈接在哪些頁面中保留入口了。一般標準化頁面的錯誤，我們通過該工具可以一次性排查掉。一般301 302 這里都會返回沒有返回信息，而404會返回狀態沒有找到。當然如果量更大建議可以導出excel里面去排查。

　　這里排查的時候有個技巧：點擊菜單欄“視圖”-勾選“只顯示無效鏈接”，這樣哪些正確的鏈接就不見了。

　　另外這個工具還可以去挖掘某個頁面內部鏈接的數量和位置等等信息。