robots.txt
作者:紫色年華
瀏覽:1876次
發布時間:2017-07-26




機器人文件是指在網站根目錄下的一個文件,通過書寫的一些代碼,能控制搜索引擎蜘蛛的抓取行為.通過它我們能讓搜索引擎禁止或者疾速抓取我們的網站.
robots.txt
機器人文件是指在網站根目錄下的一個文件,通過書寫的一些代碼,能控制搜索引擎蜘蛛的抓取行為.通過它我們能讓搜索引擎禁止或者疾速抓取我們的網站.
發布評論