搜索引擎真的遵守robots.txt協議嗎？
分享
評論
贊0
我們都知道文件是搜索引擎遵守的一個抓取協議,但是是不是真的有效果呢?
搜索引擎真的會遵循這個協議嗎?
讓我們首先來看看
下面這段 [這是我南昌seo站點的設置:允許GG 百度、ALEXA 抓取,屏蔽了其他一切引擎禁止!]
User-agent:Googlebot
Disallow:
User-agent:baiduspider
Disallow:
User-agent:ia_archiver
Disallow:
User-agent:*
Disallow:/
從理論上來說 這樣的設置就屏蔽了其他一切引擎,但實際上這種方法并不能完全屏蔽SOSO YAHOO MSN之類的爬蟲,在YAHOO上輸入site:還是可以看到內容以及索引的! 遵守robots協議與否當然是由他們自己說了算的!所以要想完全屏蔽搜索引擎的爬蟲,需要在.htaccess中加入限制語句才行,這里我們介紹2種最簡單的方法: 1:
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F]
2:
SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot
<Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
注:MSNBOT 為MSN蜘蛛機器人代碼 ,如果想要真正屏蔽某個搜索引擎 把其中的紅色部分[MSNBOT] 換成你想要屏蔽的蜘蛛機器人代碼即可! 請不要隨意添寫 否則造成損失與本人無關! seo小林發布,轉載請注明出處:江西南昌seo
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論