Robots協議-生效時間
作者：一抹淺笑
瀏覽：968次
發布時間：2017-08-28
編輯
分享
評論
贊0
robots.txt文件一般生效時間為7-15天，即1-2周。如果新網站源碼中包含robots.txt文件，那樣蜘蛛進行爬行時就會生效，如果是后來添加的，那樣蜘蛛需要對數據進行更新，時間一般在7-15天。
特別提示：robots里面內容的大小寫不可更改，Disallow后面的冒號必須為英文狀態的，遵守先允許后禁止書寫順序。
猜你喜歡