蜘蛛程序陷阱(spider trap)
作者:長瘦不老i
瀏覽:419次
發布時間:2018-03-16




蜘蛛陷阱指的是由于網站內容結構的某種特征,使搜索引擎陷入無限循環,無法停止爬行,最典型的蜘蛛陷阱是某些頁面上的萬年歷,搜索引擎可以一直單擊下一個月陷入無限循環。