Baiduspider - 百度蜘蛛
作者:紫色年華
瀏覽:1227次
發布時間:2017-04-15




百度是如何收錄到那么多網頁的呢?這個百度用以抓取互聯網上數以億計的網頁的程序,就叫做Baiduspider - 百度蜘蛛。 它是一個程序,夜以繼日得在互聯網上找尋新的URL,接著抓取URL上的內容,返回到百度的網頁暫存數據庫。 百度用來抓取網頁內容的程序,叫做Baiduspider,抓取其他內容的蜘蛛,則是新的名字: 產品名稱 對應user-agent 網頁搜索 Baiduspider 無線搜索 Baiduspider-mobile 圖片搜索 Baiduspider-image