python爬蟲學習（一）——爬蟲的工做原理

1. 爬蟲的工做原理

　　網絡爬蟲，即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是經過網頁的連接地址來尋找網頁的。從網站某一個頁面（一般是首頁）開始，讀取網頁的內容，找到在網頁中的其它連接地址，

而後經過這些連接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站全部的網頁都抓取完爲止。若是把整個互聯網當成一個網站，那麼網絡蜘蛛就能夠用這個原理把互聯網上全部的網頁都抓取下來。這樣看來，網絡爬蟲就是一個爬行程序，一個抓取網頁的程序。網

絡爬蟲的基本操做是抓取網頁。那麼如何才能爲所欲爲地得到本身想要的頁面？先從URL開始。

　　

　　抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是同樣的。好比說你在瀏覽器的地址欄中輸入    www.baidu.com    這個地址。打開網頁的過程其實就是瀏覽器做爲一個瀏覽的「客戶端」，向服務器端發送了 一次請求，把服務器端的文件「抓」到本地，再進行解釋、展示。HTML是一種標記語言，用標籤標記內容並加以解析和區分。瀏覽器的功能是將獲取到的HTML代碼進行解析，而後將原始的代碼轉變成咱們直接看到的網站頁面。

　　簡單的來說，URL就是在瀏覽器端輸入的    http://www.baidu.com    這個字符串。在理解URL以前，首先要理解URI的概念。

　　什麼是URI？

　　Web上每種可用的資源，如 HTML文檔、圖像、視頻片斷、程序等都由一個通用資源標誌符(Universal Resource Identifier， URI)進行定位。 

　　URI一般由三部分組成：

• 訪問資源的命名機制；
• 存放資源的主機名；
• 資源自身 的名稱，由路徑表示。

以下面的URI：http://www.why.com.cn/myhtml/html1223/

• 這是一個能夠經過HTTP協議訪問的資源，
• 位於主機 www.webmonkey.com.cn上，
• 經過路徑「/html/html40」訪問。 

 

 　　2.  URL的理解和舉例

　　URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯爲「統一資源定位 符」。通俗地說，URL是Internet上描述信息資源的字符串，主要用在各類WWW客戶程序和服務器程序上。採用URL能夠用一種統一的格式來描述各類信息資源，包括文件、服務器的地址和目錄等。URL的通常格式爲(帶方括號[]的爲可選項)：

　　protocol :// hostname[:port] / path / [;parameters][?query]#fragment

 URL的格式由三部分組成： 

• 第一部分是協議(或稱爲服務方式)。
• 第二部分是存有該資源的主機IP地址(有時也包括端口號)。
• 第三部分是主機資源的具體地址，如目錄和文件名等。

　　第一部分和第二部分用「://」符號隔開，第二部分和第三部分用「/」符號隔開。第一部分和第二部分是不可缺乏的，第三部分有時能夠省略。 

 

 　　三、URL和URI簡單比較

 

　　URI屬於URL更低層次的抽象，一種字符串文本標準。換句話說，URI屬於父類，而URL屬於URI的子類。URL是URI的一個子集。URI的定義是：統一資源標識符；URL的定義是：統一資源定位符。兩者的區別在於，URI表示請求服務器的路徑，定義這麼一個資

源。而URL同時說明要如何訪問這個資源（http://）。

 　　 下面來看看兩個URL的小例子。

 1.HTTP協議的URL示例：

使用超級文本傳輸協議HTTP，提供超級文本信息服務的資源。 

例：http://www.peopledaily.com.cn/channel/welcome.htm 

其計算機域名爲www.peopledaily.com.cn。

超級文本文件(文件類型爲.html)是在目錄 /channel下的welcome.htm。

這是中國人民日報的一臺計算機。 

例：http://www.rol.cn.NET/talk/talk1.htm 

其計算機域名爲www.rol.cn.Net。

超級文本文件(文件類型爲.html)是在目錄/talk下的talk1.htm。

這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1室。

2．文件的URL
用URL表示文件時，服務器方式用file表示，後面要有主機IP地址、文件的存取路 徑(即目錄)和文件名等信息。

有時能夠省略目錄和文件名，但「/」符號不能省略。 

例：file://ftp.yoyodyne.com/pub/files/foobar.txt 

上面這個URL表明存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件，文件名是foobar.txt。

例：file://ftp.yoyodyne.com/pub 

表明主機ftp.yoyodyne.com上的目錄/pub。 

例：file://ftp.yoyodyne.com/ 

表明主機ftp.yoyodyne.com的根目錄。 

 

爬蟲最主要的處理對象就是URL，它根據URL地址取得所須要的文件內容，而後對它 進行進一步的處理。

所以，準確地理解URL對理解網絡爬蟲相當重要。