Python urllib URL 處理模塊

包括 網頁請求、響應獲取、代理和cookie設置、異常處理、URL解析 等功能的Python模塊

源代碼: Lib/urllib/

---

urllib 是一個收集了多個用到 URL 的模塊的包：

• urllib.request 打開和讀取 URL

• urllib.error 包含 urllib.request 拋出的異常

• urllib.parse 用於解析 URL

• urllib.robotparser 用於解析 robots.txt 文件

 

urllib.request

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url：打開統一資源定位地址 url，能夠是一個字符串或一個 Request 對象。

data：發送到響應服務器的其餘數據的對象（eg：POST方式的數據包），默認爲None

timeout：以 秒 爲單位，用於超時鏈接的斷開操做，只適用於HTTP、HTTPS、FTP鏈接。

cafile：包含CA證書的單個文件

capath：hash後的證書文件的目錄路徑

context：描述各類SSL選項的ssl.SSLContext實例

 

 urllib.request.install_opener(opener)

將OpenerDirector實例安裝爲默認的全局啓動器。

 

urllib.request.build_opener([handler, ...])

 

 返回一個OpenerDirector實例，該實例按給定的順序連接處理程序。handler能夠是的實例，也能夠是的BaseHandler子類BaseHandler（在這種狀況下，必須能夠不帶任何參數地調用構造函數）。

 

urllib.request.pathname2url(path)

 將路徑名路徑從路徑的本地語法轉換爲URL的路徑組件中使用的形式。

 

urllib.request.url2pathname(path)

將路徑組件路徑從百分比編碼的URL 轉換爲路徑的本地語法。

 

urllib.request.getproxies()

此輔助函數將方案字典返回到代理服務器URL映射。

 

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

url 是一個含有一個有效的統一資源定位地址的字符串。

 

class  urllib.request. OpenerDirector

本OpenerDirector類打開經過URL BaseHandler連接在一塊兒。它管理處理程序的連接以及從錯誤中恢復。

class  urllib.request. BaseHandler

這是全部註冊處理程序的基類---而且僅處理簡單的註冊機制。

class  urllib.request. HTTPDefaultErrorHandler

定義HTTP錯誤響應的默認處理程序的類；全部的迴應都變成了HTTPError例外。

class  urllib.request. HTTPRedirectHandler

一個用於處理重定向的類。

class  urllib.request. HTTPCookieProcessor (cookiejar=None)

一個用於處理 HTTP Cookies 的類。

class  urllib.request. ProxyHandler (proxies=None)

使請求經過代理。若是給出了代理，則它必須是將協議名稱映射到代理URL的字典。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

參考資料：

urllib --- URL 處理模塊