搜索引擎的工作區域主要分為四大部分，下載系統、分析系統、檢索系統、查詢系統。這一篇文章主要講一下下載系統的那些事，希望看官能夠對搜索引擎能有一個初步的看法，這樣就會避免掉很多錯誤觀念的影響。.

蜘蛛下載過程與瀏覽器類似，不同點在于蜘蛛僅下載HTML文件，不對文件進行渲染，不加載圖片、Flash等內容，一般情況下不加載JS。

蜘蛛在采集網站信息時會考慮網站的網絡負載，根據網站的網絡帶寬來控制抓取量。一般情況下，負載是基于IP控制的。故而，增加網站的帶寬是有利于SEO的。當然，如果是共享IP的網站，這點很難控制。

下載過程大致可分為四個步驟：DNS解析、TCP連接、服務器計算、HTML下載。

DNS解析主要跟DNS服務器性能有關，另外與解析方式也有一定關系。對于SEO而言，可以通過測試選擇專業的DNS服務商。在這個步驟最容易出現的情況是運營部門屏蔽蜘蛛IP，因為蜘蛛爬取過程很類似DOS攻擊。

TCP連接速度主要取決于Web服務器能否快速接入請求，一般而言，當服務器同時接入大量請求信息時會產生擁堵甚至拒絕接入的情況，接入量越大TCP連接速度越慢。當然，也跟所選WEB服務器程序(如IIS、Apache、Nginx等)有關。針對大型網站，可通過增加配置解決問題。針對采用合租服務器方式的小型網站，要避免和論壇、下載站等訪問量大、消耗帶寬大的網站共享服務器。

服務器計算速度主要取決于網站程序構架、數據庫執行效率、程序語言效率等(針對動態內容)，同時與并行處理量等有關。在這一過程最常見的問題就是數據庫執行效率低下，因而會導致網站速度降低甚至出現頁面訪問出錯的情況。

HTML下載速度主要取決文件的大小及網絡帶寬，對于SEO而言，可對HTML代碼進行優化。很多網站HTML代碼都存在冗長的問題，甚至通篇代碼而文本內容僅占極小一部分。在去除后仍保留代碼，或者某一“更多”按鈕下隱藏著該功能全部的鏈接(都體現在HTML里，內容甚至超過了頁面主體的內容量!)。針對HTML優化，看源碼是個好習慣。