一、站點(diǎn)結(jié)構(gòu)

　　1、邏輯清晰的鏈接層次結(jié)構(gòu)

　　A、以首頁(yè)為根節(jié)點(diǎn)的樹(shù)狀連通圖

　　B、避免過(guò)于扁平化的結(jié)構(gòu)

　　C、避免孤島鏈接

　　首頁(yè)-頻道-索引-內(nèi)容頁(yè)

　　注意: 不利于spider抓取的情況

　　1、通過(guò)query（搜索）檢索得到的內(nèi)頁(yè)。

　　2、需要相應(yīng)設(shè)置才能訪問(wèn)內(nèi)頁(yè)的情況

　　………………………………………………

　　2、PC/移動(dòng)適配

　　1)建立適配：PC與移動(dòng)端URL，有規(guī)則級(jí)的對(duì)應(yīng)關(guān)系，且相互關(guān)聯(lián)

　　2)不建議做法

　　A、單一域名下多種配置方式

　　B、把移動(dòng)站作為PC下一級(jí)目錄，如: 3w。a.com/m/

　　3、數(shù)據(jù)主動(dòng)提交

　　新產(chǎn)出鏈接與發(fā)生變化的資源鏈接應(yīng)及時(shí)提交（避免死鏈）

　　4、避免目錄被黑或售賣

　　二、頁(yè)面結(jié)構(gòu)

　　1、不建議使用js加載頁(yè)面內(nèi)容

　　1)內(nèi)容放置js中，影響索引

　　2)鏈接和錨文本的鏈接

　　注: 1)索引頁(yè)js渲染點(diǎn)擊事件才發(fā)生鏈接

　　2)顯示一部分，點(diǎn)擊加載全文/下拉

　　2、移動(dòng)友好性標(biāo)準(zhǔn)

　　3、索引頁(yè)友好性

　　1)排版布局:

　　A、按發(fā)布時(shí)間順序、忌時(shí)間錯(cuò)亂（置頂內(nèi)容可模塊化處理）

　　B、不要漏鏈（孤島）

　　2)內(nèi)容質(zhì)量

　　A、只包括同主題內(nèi)容頁(yè)

　　B、保持與內(nèi)容同步更新

　　C、避免交叉泛濫索引頁(yè)

　　4、索引頁(yè)翻頁(yè)友好性（PC端)

　　1)1 2 3 順序排序

　　如果可能，盡量列舉全部翻頁(yè)，至少保留最近一段時(shí)間的所有內(nèi)容

　　2)不友好做法

　　A、僅有上一頁(yè)、下一頁(yè)

　　B、URL以頁(yè)數(shù)控制，不要用URL起始數(shù)量

　　C、翻頁(yè)后鏈URL與翻頁(yè)頁(yè)碼關(guān)聯(lián)

　　5、索引頁(yè)翻頁(yè)友好性（移動(dòng)端）

　　A、采用PC端翻頁(yè)建議

　　B、采用下拉動(dòng)作觸發(fā)加載，下拉次數(shù)上限為3次

　　C、針對(duì)百度UA特殊處理，返回更完整的翻頁(yè)內(nèi)容

　　注意: 不友好做法

　　無(wú)限下拉、點(diǎn)擊加載更多

　　三、抓取限制

　　1、避免預(yù)期以外的封禁

　　1)UA/IP封禁

　　A、建站模板中包含的封禁信息，被遷移

　　B、服務(wù)器自動(dòng)封禁策略

　　C、網(wǎng)站所在空間服務(wù)商封禁IP

　　2、建議

　　服務(wù)器設(shè)置排查，確保robots、UA、IP設(shè)置是否符合預(yù)期

　　3、死鏈接反饋

　　對(duì)于百度蜘蛛的抓取，返回404等明確狀態(tài)碼

　　………………………………………………

　　深度解讀百度抓取提升神器-鏈接提交

　　高級(jí)工程師 劉立

　　1、主動(dòng)提交（實(shí)時(shí)提交）原理

　　傳統(tǒng): 網(wǎng)站發(fā)布新頁(yè)面-等待百度爬蟲(chóng)逐層遍歷發(fā)現(xiàn)-百度爬蟲(chóng)發(fā)現(xiàn)網(wǎng)頁(yè)

　　實(shí)時(shí): 網(wǎng)站發(fā)布新頁(yè)面-百度爬蟲(chóng)發(fā)現(xiàn)網(wǎng)頁(yè)

　　2、大量提交垃圾和重復(fù)頁(yè)面的站點(diǎn)，限制提交或關(guān)閉