Spider
作者:9527
瀏覽:1514次
發布時間:2017-04-20




Spider,即搜索引擎蜘蛛,指搜索引擎在互聯網中,爬行抓取網頁數據的機器程序。搜索引擎蜘蛛的工作是沿著網絡鏈接漫游Web文檔集合,并將Web文檔的數據帶回到搜索引擎數據庫中,然后以文檔中包含的未訪問鏈接作為新的起點,繼續進行漫游,直到沒有滿足條件的新URL為止。蜘蛛在爬行網頁時,并不一定會抓取未訪問的鏈接,不抓取只是爬行,就是未被收錄。