[Python]網絡爬蟲（二）：利用urllib2經過指定的URL抓取網頁內容

轉自:http://blog.csdn.net/pleasecallmewhy/article/details/8923067

所謂網頁抓取，就是把URL地址中指定的網絡資源從網絡流中讀取出來，保存到本地。
相似於使用程序模擬IE瀏覽器的功能，把URL做爲HTTP請求的內容發送到服務器端， 而後讀取服務器端的響應資源。

在Python中，咱們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。

它以urlopen函數的形式提供了一個很是簡單的接口。

最簡單的urllib2的應用代碼只須要四行。

咱們新建一個文件urllib2_test01.py來感覺一下urllib2的做用：

import urllib2  
response = urllib2.urlopen('http://www.baidu.com/')  
html = response.read()  
print html

按下F5能夠看到運行的結果：

咱們能夠打開百度主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器都可），會發現也是徹底同樣的內容。

也就是說，上面這四行代碼將咱們訪問百度時瀏覽器收到的代碼們所有打印了出來。

這就是一個最簡單的urllib2的例子。

除了"http:"，URL一樣可使用"ftp:"，"file:"等等來替代。

HTTP是基於請求和應答機制的：

客戶端提出請求，服務端提供應答。

urllib2用一個Request對象來映射你提出的HTTP請求。

在它最簡單的使用形式中你將用你要請求的地址建立一個Request對象，

經過調用urlopen並傳入Request對象，將返回一個相關請求response對象，

這個應答對象如同一個文件對象，因此你能夠在Response中調用.read()。

咱們新建一個文件urllib2_test02.py來感覺一下：

import urllib2  

req = urllib2.Request('http://www.baidu.com')  

response = urllib2.urlopen(req)  

the_page = response.read() 
 
print the_page

能夠看到輸出的內容和test01是同樣的。

urllib2使用相同的接口處理全部的URL頭。例如你能夠像下面那樣建立一個ftp請求。

req = urllib2.Request('ftp://example.com/')

在HTTP請求時，容許你作額外的兩件事。

1.發送data表單數據

這個內容相信作過Web端的都不會陌生，

有時候你但願發送一些數據到URL(一般URL與CGI[通用網關接口]腳本，或其餘WEB應用程序掛接)。

在HTTP中,這個常用熟知的POST請求發送。

這個一般在你提交一個HTML表單時由你的瀏覽器來作。

並非全部的POSTs都來源於表單，你可以使用POST提交任意的數據到你本身的程序。

通常的HTML表單，data須要編碼成標準形式。而後作爲data參數傳到Request對象。

編碼工做使用urllib的函數而非urllib2。

咱們新建一個文件urllib2_test03.py來感覺一下：

import urllib    
import urllib2    
      
url = 'http://www.someserver.com/register.cgi'    
        
values = {'name' : 'WHY',    
          'location' : 'SDU',    
          'language' : 'Python' }    
      
data = urllib.urlencode(values) # 編碼工做  
req = urllib2.Request(url, data)  # 發送請求同時傳data表單  
response = urllib2.urlopen(req)  #接受反饋的信息  
the_page = response.read()  #讀取反饋的內容

若是沒有傳送data參數，urllib2使用GET方式的請求。

GET和POST請求的不一樣之處是POST請求一般有"反作用"，

它們會因爲某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

Data一樣能夠經過在Get請求的URL自己上面編碼來傳送。

import urllib2    
import urllib  
data = {}  
  
data['name'] = 'WHY'    
data['location'] = 'SDU'    
data['language'] = 'Python'  
  
url_values = urllib.urlencode(data)    
print url_values  
  
name=Somebody+Here&language=Python&location=Northampton    
url = 'http://www.example.com/example.cgi'    
full_url = url + '?' + url_values  
  
data = urllib2.open(full_url)

這樣就實現了Data數據的Get傳送。

2.設置Headers到http請求

有一些站點不喜歡被程序（非人爲訪問）訪問，或者發送不一樣版本的內容到不一樣的瀏覽器。

默認的urllib2把本身做爲「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.7)，
這個身份可能會讓站點迷惑，或者乾脆不工做。

瀏覽器確認本身身份是經過User-Agent頭，當你建立了一個請求對象，你能夠給他一個包含頭數據的字典。

下面的例子發送跟上面同樣的內容，但把自身模擬成Internet Explorer。

（多謝你們的提醒，如今這個Demo已經不可用了，不過原理仍是那樣的）。

import urllib    
import urllib2    
url = 'http://www.someserver.com/cgi-bin/register.cgi'  
      
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'    
values = {'name' : 'WHY',    
          'location' : 'SDU',    
          'language' : 'Python' }    
      
headers = { 'User-Agent' : user_agent }    
data = urllib.urlencode(values)    
req = urllib2.Request(url, data, headers)    
response = urllib2.urlopen(req)    
the_page = response.read()