蜘蛛程序陷阱(spider trap)
作者:紫羅蘭
瀏覽:642次
發(fā)布時(shí)間:2017-11-07




蜘蛛陷阱指的是由于網(wǎng)站結(jié)構(gòu)的某種特征,使搜索引擎陷入無(wú)限循環(huán),無(wú)法停止爬行,最典型的蜘蛛陷阱是某些頁(yè)面上的萬(wàn)年歷,搜索引擎可以一直單擊下一個(gè)月陷入無(wú)限循環(huán)。