robots協(xié)議
作者：四色花
瀏覽：603次
發(fā)布時(shí)間：2018-01-15
編輯
分享
評(píng)論
贊0
Robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。
是搜索引擎的一部分來(lái)定位和索引互聯(lián)網(wǎng)上的每個(gè)可能回答搜索請(qǐng)求的網(wǎng)頁(yè)，通常只在討論 robots的HTML標(biāo)簽或者robots.txt文件的時(shí)候使用。
猜你喜歡