之前做過(guò)一個(gè)網(wǎng)站遇到這樣的問(wèn)題：網(wǎng)站改版之后遺留了很多死鏈接，為了讓百度不收錄這些頁(yè)面，于是設(shè)置了404頁(yè)面，但是后來(lái)發(fā)現(xiàn)，這些大量的404頁(yè)面百度仍然在收錄，多次向百度提交過(guò)死鏈，依然沒(méi)有改善。有人說(shuō)這是百度的問(wèn)題，很多人都遇到過(guò)這種情況。這樣的問(wèn)題如果屬于比較小型的網(wǎng)站可能很難感覺(jué)到影響，但是一旦網(wǎng)站規(guī)模比較大，而且死鏈又比較多，就會(huì)對(duì)網(wǎng)站本身的收錄、權(quán)重、排名、流量帶來(lái)影響。

我們都知道404頁(yè)面的一些基本規(guī)則，但是卻很少有人重視，即使你發(fā)現(xiàn)了這些問(wèn)題也因?yàn)楦杏X(jué)問(wèn)題不大就沒(méi)有繼續(xù)深究下去。不過(guò)，如果你任由這樣的漏洞存在，時(shí)間長(zhǎng)了就會(huì)自食其果了，所以筆者建議作為站長(zhǎng)，任何細(xì)微的問(wèn)題都應(yīng)該有窮追猛打的勁頭。

　　404頁(yè)面會(huì)不會(huì)被收錄

　　關(guān)于這個(gè)問(wèn)題，看法并不統(tǒng)一，有人說(shuō)404頁(yè)面不會(huì)被收錄，404本身就是告訴搜索引擎以及訪(fǎng)問(wèn)者這個(gè)頁(yè)面已經(jīng)不存在了，請(qǐng)繞道或者去其他的頁(yè)面逛逛。也有一些人認(rèn)為404頁(yè)面會(huì)被收錄。在企贏001可以找到比較專(zhuān)業(yè)的說(shuō)法：搜索引擎不會(huì)收錄404頁(yè)面，但是有例外的情況，那就是已經(jīng)收錄過(guò)的頁(yè)面被刪除后設(shè)置的404，百度會(huì)收錄。這一點(diǎn)，跟筆者的網(wǎng)站遇到的情況類(lèi)似，筆者也是通過(guò)企贏001的專(zhuān)家才解決了這些問(wèn)題。

　　404頁(yè)面被收錄的危害：

　　404頁(yè)面收錄的一個(gè)特征就是已經(jīng)設(shè)置了404的頁(yè)面，百度仍然放出來(lái)，可以檢索的到，但是快照一直不會(huì)更新。

　　少數(shù)的404頁(yè)面被收錄，或者你的網(wǎng)站本身就沒(méi)有多少404頁(yè)面，就不會(huì)感覺(jué)多有多少危害。而對(duì)于哪些成立不久，但是發(fā)展快速的網(wǎng)站來(lái)說(shuō)，龐大的數(shù)據(jù)之下就必然有大量的死鏈、錯(cuò)誤鏈接，這時(shí)候你就不能回避404頁(yè)面被收錄的問(wèn)題。讓我們先來(lái)看一下404頁(yè)面被收錄的一些危害：

　　1、頁(yè)面對(duì)搜索引擎來(lái)說(shuō)沒(méi)有價(jià)值

　　對(duì)于搜索引擎來(lái)說(shuō)，一個(gè)URL就是一個(gè)頁(yè)面，一般來(lái)說(shuō)網(wǎng)站的404頁(yè)面都是一樣的設(shè)置，所以一旦搜索引擎蜘蛛抓取了這些頁(yè)面，就會(huì)導(dǎo)致有大量的頁(yè)面內(nèi)容相同，可想而知，搜索引擎會(huì)如何對(duì)待你的網(wǎng)站。

　　2、影響其他頁(yè)面的收錄和權(quán)重，進(jìn)而影響流量

　　網(wǎng)站的權(quán)重影響蜘蛛的抓取時(shí)間和抓取次數(shù)，所以一個(gè)網(wǎng)站能夠得到多少蜘蛛的多少次抓取都是相對(duì)固定的，換句話(huà)說(shuō)蜘蛛在一段時(shí)間內(nèi)抓取你網(wǎng)站的數(shù)據(jù)是有限的。假設(shè)蜘蛛把資源都浪費(fèi)在這些404頁(yè)面了，那網(wǎng)站中真正有價(jià)值的頁(yè)面的抓取量就變少，這些404頁(yè)面99%的都因?yàn)闆](méi)有價(jià)值而不會(huì)被收錄，這樣就會(huì)影響網(wǎng)站的收錄，同時(shí)會(huì)影響網(wǎng)站的流量。

　　如果需要?jiǎng)h除被收錄的頁(yè)面應(yīng)該如何處理?

　　1、頁(yè)面數(shù)量少，可以設(shè)置成404頁(yè)面，404的頁(yè)面的狀態(tài)碼必須是404(Not Found)，這樣搜索引擎才會(huì)認(rèn)為網(wǎng)頁(yè)已經(jīng)失效，會(huì)將頁(yè)面從搜索結(jié)果中刪除。

　　2、如果被收錄的頁(yè)面數(shù)量多，考慮到網(wǎng)站權(quán)重的問(wèn)題，可以設(shè)置成301重定向，將權(quán)重專(zhuān)遞下去，不過(guò)這一點(diǎn)也需要慎重。

　　3、你確定這些大量的收錄頁(yè)面需要從收錄結(jié)果頁(yè)刪除掉，可以利用robots.txt文件，禁止蜘蛛爬行。

　　實(shí)踐中遇到的問(wèn)題往往比較復(fù)雜，單純從網(wǎng)上搜索關(guān)鍵詞來(lái)找答案，一般快速的解決問(wèn)題，正如前面所說(shuō)的，與別人溝通、交流才能解決問(wèn)題，提高自己。