Httplib:php
httplib是一個相對底層的http請求模塊,其上有專門的包裝模塊,如urllib內建模塊,goto等第三方模塊,可是封裝的越高就越不靈活,好比urllib模塊裏請求錯誤時就不會返回結果頁的內容,只有頭信息,對於某些須要檢測錯誤請求返回值的場景就不適用,因此就得用這個模塊了。css
httplib 實現get請求html
我在本地創建一個測試環境,test.php的內容就是輸出一句話:python
1
|
echo
'this is victor'
;
|
python發送get請求代碼:git
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#!/usr/bin/env python
#coding=utf8
import
httplib
httpClient
=
None
try
:
httpClient
=
httplib.HTTPConnection(
'localhost'
,
80
, timeout
=
30
)
httpClient.request(
'GET'
,
'/test.php'
)
#response是HTTPResponse對象
response
=
httpClient.getresponse()
print
response.status
print
response.reason
print
response.read()
except
Exception, e:
print
e
finally
:
if
httpClient:
httpClient.close()
|
Httplib2:github
1.支持HTTP和HTTPS,固然在這裏和httplib是同樣的。web
二者的文檔都這樣指出「Note HTTPS support is only available if the socket module was compiled with SSL support.」json
是的,要依賴於編譯選項api
2.支持HTTP 1.1的 Keep-Alive特性,可以在同一個socket鏈接裏使用併發的httprequest.瀏覽器
3.支持受權
support following :
-Basic
-Digest
-WSSE
-HMAC Digest
-Google Account Authentication
固然我以爲Basic和Digest就OK了,若是以爲保密性不夠,那最好用HTTPS,這個防火牆也沒法根據內容過濾。最近報道說HTTPS也被破解了。不知是怎麼破解的?=,=
4.支持Cache
是的,緩存是不少機制都必有的功能,若是http的庫沒有包含http自己支持的緩存就太惋惜了。
以下就能獲取帶有緩存的HTTP對象h,緩存則存儲在當前環境的「.cache"目錄下,夠簡單吧:)
import httplib2
h = httplib2.Http(".cache")
5.提供全部HTTP支持的方法,不僅是GET和POST,還包括DELETE,CONNECT
6.自動經過」GET「方法,重定向3XX返回值
7.支持deflate和gzip兩種資源壓縮格式
import httplib2 #獲取HTTP對象 h = httplib2.Http() #發出同步請求,並獲取內容 resp, content = h.request("http://www.soso.com/") print resp print content
urllib:
打開一個url的方法,返回一個文件對象,而後能夠進行相似文件對象的操做。本例試着打開google
>>> import urllib >>> f = urllib.urlopen('http://www.google.com.hk/') >>> firstLine = f.readline() #讀取html頁面的第一行 >>> firstLine '<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage"><head><meta content="/images/google_favicon_128.png" itemprop="image"><title>Google</title><script>(function(){\n'
urlopen返回對象提供方法:
- read() , readline() ,readlines() , fileno() , close() :這些方法的使用方式與文件對象徹底同樣
- info():返回一個httplib.HTTPMessage對象,表示遠程服務器返回的頭信息
- getcode():返回Http狀態碼。若是是http請求,200請求成功完成;404網址未找到
- geturl():返回請求的url
urlretrieve方法將url定位到的html文件下載到你本地的硬盤中。若是不指定filename,則會存爲臨時文件。
urlretrieve()返回一個二元組(filename,mine_hdrs)
臨時存放:
>>> filename = urllib.urlretrieve('http://www.google.com.hk/') >>> type(filename) <type 'tuple'> >>> filename[0] '/tmp/tmp8eVLjq' >>> filename[1] <httplib.HTTPMessage instance at 0xb6a363ec>
存爲本地文件:
>>> filename = urllib.urlretrieve('http://www.google.com.hk/',filename='/home/dzhwen/python文件/Homework/urllib/google.html') >>> type(filename) <type 'tuple'> >>> filename[0] '/home/dzhwen/python\xe6\x96\x87\xe4\xbb\xb6/Homework/urllib/google.html' >>> filename[1] <httplib.HTTPMessage instance at 0xb6e2c38c>
清除因爲urllib.urlretrieve()所產生的緩存
將url數據獲取以後,並將其編碼,從而適用與URL字符串中,使其能被打印和被web服務器接受。
>>> urllib.quote('http://www.baidu.com') 'http%3A//www.baidu.com' >>> urllib.quote_plus('http://www.baidu.com') 'http%3A%2F%2Fwww.baidu.com'
與4的函數相反。
將URL中的鍵值對以鏈接符&劃分
這裏能夠與urlopen結合以實現post方法和get方法:
GET方法:
>>> import urllib >>> params=urllib.urlencode({'spam':1,'eggs':2,'bacon':0}) >>> params 'eggs=2&bacon=0&spam=1' >>> f=urllib.urlopen("http://python.org/query?%s" % params) >>> print f.read()
POST方法:
>>> import urllib >>> parmas = urllib.urlencode({'spam':1,'eggs':2,'bacon':0}) >>> f=urllib.urlopen("http://python.org/query",parmas) >>> f.read()
基本就這些,關於對象獲取的方法就不贅述了。
urllib2:
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。他以urlopen函數的形式提供了一個很是簡單的接口,
這是具備利用不一樣協議獲取URLs的能力,他一樣提供了一個比較複雜的接口來處理通常狀況,例如:基礎驗證,cookies,代理和其餘。
它們經過handlers和openers的對象提供。
urllib2支持獲取不一樣格式的URLs(在URL的":"前定義的字串,例如:"ftp"是"ftp:python.ort/"的前綴),它們利用它們相關網絡協議(例如FTP,HTTP)
進行獲取。這篇教程關注最普遍的應用--HTTP。
對於簡單的應用,urlopen是很是容易使用的。但當你在打開HTTP的URLs時遇到錯誤或異常,你將須要一些超文本傳輸協議(HTTP)的理解。
最權威的HTTP文檔固然是RFC 2616(http://rfc.net/rfc2616.html)。這是一個技術文檔,因此並不易於閱讀。這篇HOWTO教程的目的是展示如何使用urllib2,
並提供足夠的HTTP細節來幫助你理解。他並非urllib2的文檔說明,而是起一個輔助做用。
獲取 URLs
最簡單的使用urllib2將以下所示
import urllib2 response = urllib2.urlopen('http://python.org/') html = response.read()
urllib2的不少應用就是那麼簡單(記住,除了"http:",URL一樣可使用"ftp:","file:"等等來替代)。但這篇文章是教授HTTP的更復雜的應用。
HTTP是基於請求和應答機制的--客戶端提出請求,服務端提供應答。urllib2用一個Request對象來映射你提出的HTTP請求,在它最簡單的使用形式中你將用你要請求的
地址建立一個Request對象,經過調用urlopen並傳入Request對象,將返回一個相關請求response對象,這個應答對象如同一個文件對象,因此你能夠在Response中調用.read()。
import urllib2 req = urllib2.Request('http://www.python.com') response = urllib2.urlopen(req) the_page = response.read()
記得urllib2使用相同的接口處理全部的URL頭。例如你能夠像下面那樣建立一個ftp請求。
req = urllib2.Request('ftp://example.com/')
在HTTP請求時,容許你作額外的兩件事。首先是你可以發送data表單數據,其次你可以傳送額外的關於數據或發送自己的信息("metadata")到服務器,此數據做爲HTTP的"headers"來發送。
接下來讓咱們看看這些如何發送的吧。
Data數據
有時候你但願發送一些數據到URL(一般URL與CGI[通用網關接口]腳本,或其餘WEB應用程序掛接)。在HTTP中,這個常用熟知的POST請求發送。這個一般在你提交一個HTML表單時由你的瀏覽器來作。
並非全部的POSTs都來源於表單,你可以使用POST提交任意的數據到你本身的程序。通常的HTML表單,data須要編碼成標準形式。而後作爲data參數傳到Request對象。編碼工做使用urllib的函數而非urllib2。
import urllib import urllib2 url = 'http://www.python.com' values = {'name' : 'Michael Foord', 'location' : 'python', 'language' : 'Python' } data = urllib.urlencode(values) req = urllib2.Request(url, data) response = urllib2.urlopen(req) the_page = response.read()
記住有時須要別的編碼(例如從HTML上傳文件--看http://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13 HTML Specification, Form Submission的詳細說明)。
如ugoni沒有傳送data參數,urllib2使用GET方式的請求。GET和POST請求的不一樣之處是POST請求一般有"反作用",它們會因爲某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。
儘管HTTP標準說的很清楚POSTs一般會產生反作用,GET請求不會產生反作用,但沒有什麼能夠阻止GET請求產生反作用,一樣POST請求也可能不產生反作用。Data一樣能夠經過在Get請求
的URL自己上面編碼來傳送。
可看以下例子
>>> import urllib2 >>> import urllib >>> data = {} >>> data['name'] = 'Somebody Here' >>> data['location'] = 'python' >>> data['language'] = 'Python' >>> url_values = urllib.urlencode(data) >>> print url_values name=blueelwang+Here&language=Python&location=python >>> url = 'http://www.python.com' >>> full_url = url + '?' + url_values >>> data = urllib2.open(full_url)
Headers
咱們將在這裏討論特定的HTTP頭,來講明怎樣添加headers到你的HTTP請求。
有一些站點不喜歡被程序(非人爲訪問)訪問,或者發送不一樣版本的內容到不一樣的瀏覽器。默認的urllib2把本身做爲「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.5),
這個身份可能會讓站點迷惑,或者乾脆不工做。瀏覽器確認本身身份是經過User-Agent頭,當你建立了一個請求對象,你能夠給他一個包含頭數據的字典。下面的例子發送跟上面同樣的內容,但把自身
模擬成Internet Explorer。
import urllib import urllib2 url = 'http://www.python.com' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' values = {'name' : 'Michael Foord', 'location' : 'python', 'language' : 'Python' } headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) the_page = response.read()
response應答對象一樣有兩個頗有用的方法。看下面的節info and geturl,咱們將看到當發生錯誤時會發生什麼。
Handle Exceptions處理異常
當urlopen不可以處理一個response時,產生urlError(不過一般的Python APIs異常如ValueError,TypeError等也會同時產生)。
HTTPError是urlError的子類,一般在特定HTTP URLs中產生。
URLError
一般,URLError在沒有網絡鏈接(沒有路由到特定服務器),或者服務器不存在的狀況下產生。這種狀況下,異常一樣會帶有"reason"屬性,它是一個tuple,包含了一個錯誤號和一個錯誤信息。
例如
>>> req = urllib2.Request('http://www.python.com') >>> try: urllib2.urlopen(req) >>> except URLError, e: >>> print e.reason >>>
(4, 'getaddrinfo failed')
HTTPError
服務器上每個HTTP 應答對象response包含一個數字"狀態碼"。有時狀態碼指出服務器沒法完成請求。默認的處理器會爲你處理一部分這種應答(例如:假如response是一個"重定向",須要客戶端從別的地址獲取文檔
,urllib2將爲你處理)。其餘不能處理的,urlopen會產生一個HTTPError。典型的錯誤包含"404"(頁面沒法找到),"403"(請求禁止),和"401"(帶驗證請求)。
請看RFC 2616 第十節有全部的HTTP錯誤碼
HTTPError實例產生後會有一個整型'code'屬性,是服務器發送的相關錯誤號。
Error Codes錯誤碼
由於默認的處理器處理了重定向(300之外號碼),而且100-299範圍的號碼指示成功,因此你只能看到400-599的錯誤號碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個頗有用的應答號碼字典,顯示了RFC 2616使用的全部的應答號。這裏爲了方便從新展現該字典。(譯者略)
當一個錯誤號產生後,服務器返回一個HTTP錯誤號,和一個錯誤頁面。你可使用HTTPError實例做爲頁面返回的應答對象response。這表示和錯誤屬性同樣,它一樣包含了read,geturl,和info方法。
>>> req = urllib2.Request('http://www.python.org/fish.html') >>> try: >>> urllib2.urlopen(req) >>> except URLError, e: >>> print e.code >>> print e.read() >>> 404 <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <?xml-stylesheet href="./css/ht2html.css" type="text/css"?> <html><head><title>Error 404: File Not Found</title> ...... etc...
Wrapping it Up包裝
因此若是你想爲HTTPError或URLError作準備,將有兩個基本的辦法。我則比較喜歡第二種。
第一個:
from urllib2 import Request, urlopen, URLError, HTTPError req = Request(someurl) try: response = urlopen(req) except HTTPError, e: print 'The server couldn/'t fulfill the request.' print 'Error code: ', e.code except URLError, e: print 'We failed to reach a server.' print 'Reason: ', e.reason else: # everything is fine
注意:except HTTPError 必須在第一個,不然except URLError將一樣接受到HTTPError。
第二個:
from urllib2 import Request, urlopen, URLError req = Request(someurl) try: response = urlopen(req) except URLError, e: if hasattr(e, 'reason'): print 'We failed to reach a server.' print 'Reason: ', e.reason elif hasattr(e, 'code'): print 'The server couldn/'t fulfill the request.' print 'Error code: ', e.code else: # everything is fine
info and geturl
urlopen返回的應答對象response(或者HTTPError實例)有兩個頗有用的方法info()和geturl()
geturl -- 這個返回獲取的真實的URL,這個頗有用,由於urlopen(或者opener對象使用的)或許
會有重定向。獲取的URL或許跟請求URL不一樣。
info -- 這個返回對象的字典對象,該字典描述了獲取的頁面狀況。一般是服務器發送的特定頭headers。目前是httplib.HTTPMessage 實例。
經典的headers包含"Content-length","Content-type",和其餘。查看Quick Reference to HTTP Headers(http://www.cs.tut.fi/~jkorpela/http.html)
獲取有用的HTTP頭列表,以及它們的解釋意義。
Openers和Handlers
當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例,urllib2.OpenerDirector可能名字可能有點讓人混淆。)正常狀況下,咱們
使用默認opener -- 經過urlopen,但你可以建立個性的openers,Openers使用處理器handlers,全部的「繁重」工做由handlers處理。每一個handlers知道
如何經過特定協議打開URLs,或者如何處理URL打開時的各個方面,例如HTTP重定向或者HTTP cookies。
若是你但願用特定處理器獲取URLs你會想建立一個openers,例如獲取一個能處理cookie的opener,或者獲取一個不重定向的opener。
要建立一個 opener,實例化一個OpenerDirector,而後調用不斷調用.add_handler(some_handler_instance).
一樣,可使用build_opener,這是一個更加方便的函數,用來建立opener對象,他只須要一次函數調用。
build_opener默認添加幾個處理器,但提供快捷的方法來添加或更新默認處理器。
其餘的處理器handlers你或許會但願處理代理,驗證,和其餘經常使用但有點特殊的狀況。
install_opener 用來建立(全局)默認opener。這個表示調用urlopen將使用你安裝的opener。
Opener對象有一個open方法,該方法能夠像urlopen函數那樣直接用來獲取urls:一般沒必要調用install_opener,除了爲了方便。
Basic Authentication 基本驗證
爲了展現建立和安裝一個handler,咱們將使用HTTPBasicAuthHandler,爲了更加細節的描述本主題--包含一個基礎驗證的工做原理。
請看Basic Authentication Tutorial(http://www.voidspace.org.uk/python/articles/authentication.shtml)
當須要基礎驗證時,服務器發送一個header(401錯誤碼) 請求驗證。這個指定了scheme 和一個‘realm’,看起來像這樣:Www-authenticate: SCHEME realm="REALM".
例如
Www-authenticate: Basic realm="cPanel Users"
客戶端必須使用新的請求,並在請求頭裏包含正確的姓名和密碼。這是「基礎驗證」,爲了簡化這個過程,咱們能夠建立一個HTTPBasicAuthHandler的實例,並讓opener使用這個
handler。
HTTPBasicAuthHandler使用一個密碼管理的對象來處理URLs和realms來映射用戶名和密碼。若是你知道realm(從服務器發送來的頭裏)是什麼,你就能使用HTTPPasswordMgr。
一般人們不關心realm是什麼。那樣的話,就能用方便的HTTPPasswordMgrWithDefaultRealm。這個將在你爲URL指定一個默認的用戶名和密碼。這將在你爲特定realm提供一個其餘組合時
獲得提供。咱們經過給realm參數指定None提供給add_password來指示這種狀況。
最高層次的URL是第一個要求驗證的URL。你傳給.add_password()更深層次的URLs將一樣合適。
# 建立一個密碼管理者 password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm() # 添加用戶名和密碼 # 若是知道 realm, 咱們可使用他代替 ``None``. top_level_url = "http://example.com/foo/" password_mgr.add_password(None, top_level_url, username, password) handler = urllib2.HTTPBasicAuthHandler(password_mgr) # 建立 "opener" (OpenerDirector 實例) opener = urllib2.build_opener(handler) # 使用 opener 獲取一個URL opener.open(a_url) # 安裝 opener. # 如今全部調用 urllib2.urlopen 將用咱們的 opener. urllib2.install_opener(opener)
注意:以上的例子咱們僅僅提供咱們的HHTPBasicAuthHandler給build_opener。默認的openers有正常情況的handlers--ProxyHandler,UnknownHandler,HTTPHandler,HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。
top_level_url 實際上能夠是完整URL(包含"http:",以及主機名及可選的端口號)例如:http://example.com/,也能夠是一個「authority」(即主機名和可選的
包含端口號)例如:「example.com」 or 「example.com:8080」(後者包含了端口號)。權限驗證,若是遞交的話不能包含"用戶信息"部分,例如:
「joe@password:example.com」是錯誤的。
Proxies代理urllib 將自動監測你的代理設置並使用他們。這個經過ProxyHandler這個在正常處理器鏈中的對象來處理。一般,那工做的很好。但有時不起做用
。其中一個方法即是安裝咱們本身的代理處理器ProxyHandler,並不定義代理。這個跟使用Basic Authentication 處理器很類似。
>>> proxy_support = urllib.request.ProxyHandler({}) >>> opener = urllib.request.build_opener(proxy_support) >>> urllib.request.install_opener(opener)
注意:
此時urllib.request不支持經過代理獲取https地址。但,這個能夠經過擴展urllib.request達到目的。
Sockets and Layers
Python支持獲取網絡資源是分層結構。urllib 使用http.client庫,再調用socket庫實現。
在Python2.3你能夠指定socket的等待迴應超時時間。這個在須要獲取網頁的應用程序裏頗有用。默認的socket模型沒有超時和掛起。如今,socket超時沒有暴露
給http.client或者urllib.request層。但你能夠給全部的sockets設置全局的超時。
requests:
Python標準庫中提供了:urllib、urllib二、httplib等模塊以供Http請求,可是,它的 API 太渣了。它是爲另外一個時代、另外一個互聯網所建立的。它須要巨量的工做,甚至包括各類方法覆蓋,來完成最簡單的任務。
Requests 是使用 Apache2 Licensed 許可證的 基於Python開發的HTTP 庫,其在Python內置模塊的基礎上進行了高度的封裝,從而使得Pythoner進行網絡請求時,變得美好了許多,使用Requests能夠垂手可得的完成瀏覽器可有的任何操做。
一、GET請求
# 一、無參數實例 import requests ret = requests.get('https://github.com/timeline.json') print ret.url print ret.text # 二、有參數實例 import requests payload = {'key1': 'value1', 'key2': 'value2'} ret = requests.get("http://httpbin.org/get", params=payload) print ret.url print ret.text
向 https://github.com/timeline.json 發送一個GET請求,將請求和響應相關均封裝在 ret 對象中。
二、POST請求
# 一、基本POST實例 import requests payload = {'key1': 'value1', 'key2': 'value2'} ret = requests.post("http://httpbin.org/post", data=payload) print ret.text # 二、發送請求頭和數據實例 import requests import json url = 'https://api.github.com/some/endpoint' payload = {'some': 'data'} headers = {'content-type': 'application/json'} ret = requests.post(url, data=json.dumps(payload), headers=headers) print ret.text print ret.cookies
向https://api.github.com/some/endpoint發送一個POST請求,將請求和相應相關的內容封裝在 ret 對象中。
1 #!/usr/bin/python 2 #-*-coding:utf-8-*- 3 import base64 4 import requests 5 import sys 6 import httplib,urllib; #加載模塊 7 8 def PassParse(username,password): 9 #定義須要進行發送的數據 10 params = urllib.urlencode({ 11 'username':username, 12 'password':password, 13 }); 14 #定義一些文件頭 15 # auth = base64.b64encode('cleartext username' + ':'+ 'cleartext passwords') 16 # headers = {"Authorization": "Basic" + auth} 17 headers = {"Content-Type":"application/x-www-form-urlencoded", 18 "Connection":"Keep-Alive","Referer":"http://192.168.1.123:8080/login/", 19 "Accept-Language": "zh-CN", 20 "User-Agent": "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)", 21 "Accept": "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, application/vnd.ms-excel, */*", 22 "Accept-Encoding": "gzip, deflate", 23 "cookie":"JSESSIONID=2F3E4882AEA5E2A3F38A69B424AA07CC; jsoaUserName=victor"}; 24 #與網站構建一個鏈接 25 conn = httplib.HTTPConnection("192.168.1.123","8080"); 26 #開始進行數據提交 同時也可使用get進行 27 conn.request(method="POST",url="/login/",body=params,headers=headers); 28 response = conn.getresponse(); 29 #判斷是否提交成功 30 print '---', response.status 31 if response.status == 200: 32 body = response.read() 33 print "succ!^_^!"; 34 print "pass is : ",password 35 else: 36 print "fail\^0^/"; 37 #關閉鏈接 38 conn.close(); 39 40 41 def getPass(): 42 fp = open('pass1.txt', 'r') 43 if fp == 0: 44 print "open file error!" 45 exit() 46 try: 47 fp_obj = fp.readlines() 48 except ValueError: 49 print "read file error!" 50 for line in fp_obj: 51 password = line.split() 52 PassParse("victor",password) 53 print password[0] 54 55 if __name__ == '__main__': 56 getPass()