一：什么是robots協(xié)議

robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議等）也就是robots.txt，網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不希望被抓取。

? Robots協(xié)議是網(wǎng)站國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶(hù)個(gè)人信息和隱私不被侵犯。

? 因其不是命令，是一種單方面協(xié)議，故需要搜索引擎自覺(jué)遵守。

二：robots.txt放置位置

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。

例如，當(dāng)spider訪(fǎng)問(wèn)一個(gè)網(wǎng)站（比如 http://www.taobao.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.taobao.com/robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪(fǎng)問(wèn)權(quán)限的范圍。

三：robots.txt文件的寫(xiě)法

操作步驟：

1.新建一個(gè)文本文檔，命名為robots.txt

2.開(kāi)始寫(xiě)robots

User-agent: *   （*針對(duì)所有搜索引擎）

Disallow: /     (禁止爬取所有頁(yè)面，/代表目錄)

Disallow: /admin/ (禁止抓取admin目錄)

Disallow: /admin (禁止抓取包含admin的路徑)

Allow: /admin/s3.html    (允許抓取admin目錄下s3.html文件)

一個(gè)“/”表示路徑，兩個(gè)“/”表示文件夾

Allow: /admin/php/  (允許抓取admin下面的php文件的所有內(nèi)容)

Disallow: /.css$ (禁止抓取所有帶.css的文件)

sitemap:***

注意：

? 冒號(hào)后面有空格，空格后面都有/(都要以/開(kāi)頭)，開(kāi)頭第一個(gè)字母大寫(xiě)

? 因?yàn)樗阉饕嬷┲雭?lái)抓取網(wǎng)站的時(shí)候最先看的就robots文件，我們把網(wǎng)站地圖的地址放到robots協(xié)議中有利于搜索引擎蜘蛛的抓取，從而提高網(wǎng)站的收錄。