robots文件怎么寫
作者：dengying
瀏覽：2057次
發(fā)布時(shí)間：2015-04-22
編輯
分享
評(píng)論
贊0
現(xiàn)在基本上所有的優(yōu)化站點(diǎn)中都有加入robots文件，但是也有一部分SEOer們對(duì)于robots文件不是很了解。今天我們就一起來學(xué)習(xí)學(xué)習(xí)關(guān)于robots文件的相關(guān)內(nèi)容。
1、每一個(gè)網(wǎng)站中只能有一個(gè)robots文件，文件命名都是robots.txt
2、robots.txt文件正確的位置是放在優(yōu)化網(wǎng)站的根目錄下，如果位于子目錄下則該文件無法訪問
3、robots.txt文件不能夠阻止任何文件的訪問，只能夠阻止搜索引擎對(duì)內(nèi)容的索引，它是一個(gè)公共資源，如果使用不正確，就會(huì)將相關(guān)內(nèi)容暴露給黑客
4、robots.txt文件的寫法
User-agent:*
Disallow:/
阻止搜索引擎對(duì)任何內(nèi)容的訪問，網(wǎng)站所有頁面將不會(huì)被收錄
User-agent:*
Disallow:/directory
阻止對(duì)directory開始的所有信息的訪問
User-agent:*
Disallow:/directory/
阻止搜索引擎對(duì)/directory/目錄的訪問
猜你喜歡