robots協議
作者：長瘦不老i
瀏覽：1058次
發布時間：2018-04-10
編輯
分享
評論
贊0
Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol)，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
是搜索引擎的一部分來定位和索引互聯網上的每個可能回答搜索請求的網頁，通常只在討論 robots的HTML標簽或者robots.txt文件的時候使用。
猜你喜歡