<ul id="g60s4"><pre id="g60s4"></pre></ul>
<strong id="g60s4"><nav id="g60s4"></nav></strong>
<ul id="g60s4"></ul>
  • <tr id="g60s4"></tr>
  • 
    
  • 或者

    Baiduspider抓取建庫篇——VIP大講堂(上海站)QA集錦

    作者:月光邊境 瀏覽:109 發布時間:2018-05-22
    分享 評論 0

    首先,小編要對各位站長朋友說聲抱歉,VIP大講堂上海站已經過去N久,QA內容今天才發布出來。各位站長參加VIP大講堂,除了聆聽官方聲音外,更重要的是可以與百度專家進行面對面的溝通。VIP大講堂上海站請出了百度spider專家孫權,這是他第一次走出來與站長進行培訓交流,課程中抖出干貨無數,各位無法參與現場培訓的站長除了申請觀看培訓現場視頻外,還可以通過QA記錄看看自己心中的疑問是否已被解答。

      由于現場QA環節火爆熱烈內容超多,故本次僅放出spider抓取建庫部分,其它內容請靜待下期。

      問:為什么收錄量像坐過山車一樣的,還有為什么有些網頁今天在明天就沒了?

      答:百度會周期建庫,且每個庫的收錄量是恒定的,你老是有新增,肯定會再從庫里淘汰一些,反正總是保持那個庫是滿的。在建庫的過程中,你會感覺有波動。具體的怎么篩,哪個頁面會留下哪個頁面會淘汰,這個策略是有很多的,他隨著時間的變化,收錄的標準策略也是在發生微調。

      問:我們站點使用CDN加速會不會比較容易造成蜘蛛無法抓???因為有時候修改掉他綁定的什么東西。

      答:如果要修改掉一定要通知到上一級,現在不存在這個問題,現在你如果修改掉也可以解析掉,之前可能會存在這個問題。

      問:你們百度自己也有一個CDN加速,對抓錄排名有沒有影響?

      答:在使用CDN加速這個問題上,我們對所有站點一視同仁。但我建議你使用技術能力強的CDN服務商,保證站點的穩定和速度,百度會更喜歡。

      問:剛才您說IP上的站點數不能太多,那CDN這種情況怎么辦?

      答:CDN的情況另說,如果我們識別出來是CDN的話不會受站點數量的影響,如果你是提供獨立IP的話會有這樣一些問題。

      問:還是IP上站點數量的問題,如果是主域跟二級域名呢?也受數量限制?

      答:我說的是獨立域名。當然質量比較好的二級域名也可以認為是獨立域名

      問:多個域名,他有相同的一些內容,怎么建庫?

      答:如果是多域名在同一個主域下面有相同內容的話,不可能所有都建庫,而且被建庫的那個可能不是你希望的那個,所以盡量不要有相同的內容。

      問:剛才講的IP如果是多域名的話,好幾百個IP域名,現在我們也用了CDN,按照剛才的說法,單個IP最多抓多少?1000萬是說對站點還是對IP?

      答:對IP,但1000萬是我舉例,不是實際的數據,這個數據不會分享出來的

      問:現在我的網站被很多蜘蛛爬,我想只讓百度蜘蛛爬,百度蜘蛛IP多少?能設白名單么?

      答:百度蜘蛛IP是不斷變的,現在網上的確有一些白名單的說法,暫時是有效的,但不保證今后不會變,所以建議站點還是通過ua進行判斷,我們百度站長平臺上有相關的文章,你可以找一下。

      問:如果我寫robots只想禁掉動態鏈接的話,會不會影響動態參數前面正常鏈接的抓?。?/p>

      答:不會的,你原來的頁面還在,肯定會抓。

      問:比如我們一個域名www.abcde.com,我們想把帶?號的url全部禁掉,首頁我們不要禁掉,怎么弄?

      答:?前面有個*,后面再有個*就可以了。

      問:我想了解,如果我現在收錄有5萬,大概多長時間才能把我原來收錄5萬重新抓取一遍?

      答:不同站點不好說,一個是你站點做的很好,知名度很響更新很快質量很好就會快;如果你的站點默默無聞,貢獻很少,可能就會很慢。

      (接上個問題)

      問:就是差不多的情況,大概。

      答:這個沒有人能估出來。

      問:百度站長平臺上有數據提交的工具,我們實時提交,你們也會實時抓取嗎?

      答:不會,他會有一層判斷?,F在只是通知你提交成功,后面什么時候抓,什么時候建庫沒有,我們正在研究要不要把這個分享出來。

      問:我網站有一些列表頁,都沒有鏈接,擔心百度抓不到

      答:現在百度站長平臺的站內搜索工具有一個綠色收錄通道,在那里提交種子頁,我們就知道的。

     ?。ń由蟼€問題)

      問:提交種子頁面必須要用站搜?

      答:是的。

      問:如果說頁面里url特別多的話,蜘蛛會不會有選擇性的進行抓?。?/p>

      答:不會,他都會一個不漏給你提出來,但會把JS、CSS這樣的鏈接給過濾掉。但請注意,全部抓取過來之后會進行篩選,并不是所有都會建庫。

      問:現在很多網站都有自己的站內搜索,都會產生站內搜索結果頁,百度不喜歡搜索結果頁的話,我們用這個會不會對我們有影響?只是不喜歡還是對我們網站會有懲罰

      答:蜘蛛會去抓,抓完之后重要是提取里面的鏈接。如果只有一兩條這樣的頁面質量不好問題不大,如果整體質量較差,有可能受到懲罰。

      問:新出的時效性文章當時沒有被收錄,后期是否還會被收錄?

      答:會

      問:站點每天最高爬蟲多少次?

      答:這個其實說不好,有的站點我們一天會抓一兩千萬,有的站點只抓幾個、幾十個,看你的規模和質量,而且這個抓取量也是會根據網站的情況進行調整的。

      作者:百度站長平臺


    精品久久天干天天天按摩| 久久国产精品只做精品| 久久亚洲美女精品国产精品| 国产精品1024视频| 亚洲国产精品综合久久久| 久久精品一区二区三区不卡| 亚洲精品tv久久久久| 国产成人精品18| 91麻豆精品福利在线观看| 日本国产精品久久| 日韩电影在线观看第一区| 久久99精品久久只有精品| 日韩免费电影在线观看| 精品一二三区久久aaa片| 中文国产成人精品久久96| 女人高潮内射99精品| 无码国产亚洲日韩国精品视频一区二区三区| 久久国内精品自在自线400部o| 国产亚洲精品成人a v小说| 亚洲А∨精品天堂在线| 日本精品视频在线观看| 亚洲欧美日韩综合久久久久| 日韩精品成人亚洲专区| 国产成人无码精品久久二区三区| 欧美交A欧美精品喷水| 久久中文字幕精品| 国产伦精品一区二区三区女| 精品亚洲国产成人| 亚洲婷婷第一狠人综合精品| 中文字幕无码精品亚洲资源网| 亚洲精品无码av天堂| 亚洲?V无码乱码国产精品 | 精品久久久久中文字幕一区| 伊人精品久久久久7777| 无码国模国产在线无码精品国产自在久国产| 亚洲欧洲日韩国产| 亚洲国产日韩女人aaaaaa毛片在线 | 99视频精品全部在线播放| 国产成人精品免费视频大全| 男女男精品视频网站在线观看| 乱人伦精品视频在线观看|