不清楚我們的網(wǎng)站百度蜘蛛是否來過，不知道我們網(wǎng)站百度蜘蛛是否能來，那你可以利用網(wǎng)站日志來分析蜘蛛是否來過，爬行過哪些頁面，什么時候來過等問題，那么我們應(yīng)該如何去分析網(wǎng)站蜘蛛日志。

在我們分析網(wǎng)站日志的前提是必須要下載ISS日志，一般的情況下，我們都使用ftp,那么ISS日志均為空間商會給你提供下載地址。一般是在weblog文件中，我們可以直接從這一文件中獲取站點(diǎn)的日志文件。一般的情況下，ISS日志是每天生成一次，但是對于網(wǎng)站較大，站點(diǎn)內(nèi)容較多的可以設(shè)置每小時生成一次。

如何分析蜘蛛日志

61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " seo/3539.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

以上的代碼是我從自己的空間下載的一段日志，現(xiàn)在與大家一起來分析一下，這段代碼具體意思如下：

61.135.168.22：來路IP，也就是說這個用戶或者蜘蛛進(jìn)來我們網(wǎng)站的IP是多少。

11/Feb/2014:04:02:45：時間2014年2月11日早上4點(diǎn)02分45秒。

seo/3539.html：蜘蛛訪問的頁面，加上網(wǎng)站的主域名如：http://www.xugongping.com/seo/3539.html

200：表示能夠正常訪問你的網(wǎng)站。

8450：表示此次加載了8450個字節(jié)。

Baiduspider：百度蜘蛛的全名。

以上是網(wǎng)站日志分析的細(xì)節(jié)，那么以上的內(nèi)容有兩點(diǎn)，是我們需要注意的，同時在分析的過程中也需要記住的。那就是狀態(tài)代碼和程序名的解析。

狀態(tài)代碼

200 - 服務(wù)器成功返回網(wǎng)頁

404 - 請求的網(wǎng)頁不存在

503 - 服務(wù)器暫時不可用

500 - 服務(wù)器出現(xiàn)錯誤

蜘蛛名稱

百度(Baidu)爬蟲名稱(Baiduspider)

谷歌(Google)爬蟲名稱(Googlebot)

雅虎(Yahoo)爬蟲名稱(Yahoo Slurp)

有道(Yodao)蜘蛛名稱(YodaoBot)

搜狗(sogou)蜘蛛名稱(sogou spider)

MSN的蜘蛛名稱：msnbot

如何讓蜘蛛經(jīng)常訪問我們的網(wǎng)站

那么看懂這些數(shù)據(jù)以后，很多朋友可能會很失望，覺得自己的網(wǎng)站蜘蛛訪問的很少甚至沒有訪問記錄，那么你也別擔(dān)心，可能是你網(wǎng)站的一些小問題引起了蜘蛛的不關(guān)注。下面來看看面對蜘蛛不關(guān)注我們的網(wǎng)站，我們應(yīng)該如何操作吧。

定時更新：對于小網(wǎng)站或者博客網(wǎng)站，我們可以定時更新1-3篇少量信息，那么對于論壇門戶這種欄目較多的網(wǎng)站，我們就需要更具自己網(wǎng)站的情況來更新，以便獲得蜘蛛的青睞。

網(wǎng)站地圖：制作蜘蛛網(wǎng)站地圖，當(dāng)蜘蛛在抓取你的頁面，蜘蛛會先抓取你的robots文件，所以網(wǎng)站地圖寫在robots文件里面來引導(dǎo)蜘蛛抓取網(wǎng)站地圖內(nèi)容。

外鏈引導(dǎo)：我曾經(jīng)做過一次這樣的實(shí)驗，新建一個文本頁面的網(wǎng)站，不做任何操作，僅僅在A5論壇發(fā)了一個純文本鏈接，第二天百度收錄了我的那個文本頁面。這一點(diǎn)說明SEO外鏈?zhǔn)强梢砸龑?dǎo)百度蜘蛛來收錄你的網(wǎng)站的。

推薦此文：如果你的條件允許的情況下，你可以將你的內(nèi)容文字推薦到首頁，或者在其他內(nèi)容頁推薦，因為一個網(wǎng)站首頁的權(quán)重是最高的，所以在首頁推薦的情況下，是非常容易就可以收錄你的文章。