robots機器人想必做SEO行業(yè)的人都不陌生，我們在優(yōu)化網(wǎng)站的時候必須要使用robots來屏蔽不想讓蜘蛛抓取的文件，從而提高蜘蛛的整體 抓取效率，但是有很多SEO同行都不知道如何利用好robots文件，那么今天就說下如何利用robots文件來提高SEO優(yōu)化的效率！

百度官方是推薦所有的網(wǎng)站都使用robots文件，以便更好地利用蜘蛛的抓取。其實robots不僅僅是告訴搜索引擎哪些不能抓取，更是網(wǎng)站優(yōu)化的重要工具之一。

robots文件實際上就是一個txt文件。其基本的寫法如下：

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /admin/  這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow:/ABC/   這里定義是禁止爬尋ABC目錄下面的目錄

Disallow: /cgi-bin/*.htm禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面

Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html禁止爬取ab文件夾下面的adc.html文件

Allow: /cgi-bin/這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL

Allow: .gif$  允許抓取網(wǎng)頁和gif格式圖片。

在網(wǎng)站優(yōu)化方面，利用robots文件告訴搜索引擎哪些是重要的內(nèi)容，不重要的內(nèi)容均推薦用robots文件來禁止抓取。不重要的內(nèi)容的典型代表：網(wǎng)站的搜索結(jié)果頁面。

對于靜態(tài)網(wǎng)站來說，我們可以利用Disallow: /*?*來禁止動態(tài)頁面抓取。但對于動態(tài)網(wǎng)站來說，就不能簡單地這樣做了。不過對于動態(tài)網(wǎng)站的站長來說，也無需過于擔(dān)心，搜索引擎現(xiàn)在可以正常地抓取動態(tài)頁面。那么在寫的時候，就要注意了，我們可以具體到搜索文件的名稱來寫。比如你的站是search.asp?后面一大串，那么可以這樣寫：Disallow: /search.asp?*  

這樣就可以屏蔽搜索結(jié)果頁面了，寫好了可以到百度站長平臺檢測robots一下，看看有沒有錯誤!可以輸入網(wǎng)址檢測一下，是不是正常生效了。