python之路——經常使用模塊
閱讀目錄html
認識模塊 java
什麼是模塊python
什麼是模塊？正則表達式
常見的場景：一個模塊就是一個包含了python定義和聲明的文件，文件名就是模塊名字加上.py的後綴。算法
但其實import加載的模塊分爲四個通用類別： shell
1 使用python編寫的代碼（.py文件）數據庫
2 已被編譯爲共享庫或DLL的C或C++擴展編程
3 包好一組模塊的包json
4 使用C編寫並連接到python解釋器的內置模塊windows
爲什麼要使用模塊？
若是你退出python解釋器而後從新進入，那麼你以前定義的函數或者變量都將丟失，所以咱們一般將程序寫到文件中以便永久保存下來，須要時就經過python test.py方式去執行，此時test.py被稱爲腳本script。
隨着程序的發展，功能愈來愈多，爲了方便管理，咱們一般將程序分紅一個個的文件，這樣作程序的結構更清晰，方便管理。這時咱們不只僅能夠把這些文件當作腳本去執行，還能夠把他們當作模塊來導入到其餘的模塊中，實現了功能的重複利用，
模塊的導入和使用
模塊的導入應該在程序開始的地方
更多相關內容 http://www.cnblogs.com/Eva-J/articles/7292109.html
經常使用模塊
collections模塊
在內置數據類型（dict、list、set、tuple）的基礎上，collections模塊還提供了幾個額外的數據類型：Counter、deque、defaultdict、namedtuple和OrderedDict等。
1.namedtuple: 生成可使用名字來訪問元素內容的tuple
2.deque: 雙端隊列，能夠快速的從另一側追加和推出對象
3.Counter: 計數器，主要用來計數
4.OrderedDict: 有序字典
5.defaultdict: 帶有默認值的字典
namedtuple
我們知道tuple能夠表示不變集合，例如，一個點的二維座標就能夠表示成：
>>> p = (1, 2)
可是，看到(1, 2)，很難看出這個tuple是用來表示一個座標的。
這時，namedtuple就派上了用場：
>>> from collections import namedtuple
>>> Point = namedtuple('Point', ['x', 'y'])
>>> p = Point(1, 2)
>>> p.x
1
>>> p.y
2
類似的，若是要用座標和半徑表示一個圓，也能夠用namedtuple定義：
#namedtuple('名稱', [屬性list]):
Circle = namedtuple('Circle', ['x', 'y', 'r'])
deque
使用list存儲數據時，按索引訪問元素很快，可是插入和刪除元素就很慢了，由於list是線性存儲，數據量大的時候，插入和刪除效率很低。
deque是爲了高效實現插入和刪除操做的雙向列表，適合用於隊列和棧：
>>> from collections import deque
>>> q = deque(['a', 'b', 'c'])
>>> q.append('x')
>>> q.appendleft('y')
>>> q
deque(['y', 'a', 'b', 'c', 'x'])
deque除了實現list的append()和pop()外，還支持appendleft()和popleft()，這樣就能夠很是高效地往頭部添加或刪除元素。
OrderedDict
使用dict時，Key是無序的。在對dict作迭代時，咱們沒法肯定Key的順序。
若是要保持Key的順序，能夠用OrderedDict：
>>> from collections import OrderedDict
>>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>>> d # dict的Key是無序的
{'a': 1, 'c': 3, 'b': 2}
>>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
>>> od # OrderedDict的Key是有序的
OrderedDict([('a', 1), ('b', 2), ('c', 3)])
注意，OrderedDict的Key會按照插入的順序排列，不是Key自己排序：
>>> od = OrderedDict() >>> od['z'] = 1 >>> od['y'] = 2 >>> od['x'] = 3 >>> od.keys() # 按照插入的Key的順序返回 ['z', 'y', 'x']
defaultdict
有以下值集合 [11,22,33,44,55,66,77,88,99,90...]，將全部大於 66 的值保存至字典的第一個key中，將小於 66 的值保存至第二個key的值中。
即： {
'k1'
: 大於
66
,
'k2'
: 小於
66
}
原生字典解決方法
defaultdict字典解決方法
使用dict時，若是引用的Key不存在，就會拋出KeyError。若是但願key不存在時，返回一個默認值，就能夠用defaultdict：
例2
Counter
Counter類的目的是用來跟蹤值出現的次數。它是一個無序的容器類型，以字典的鍵值對形式存儲，其中元素做爲key，其計數做爲value。計數值能夠是任意的Interger（包括0和負數）。Counter類和其餘語言的bags或multisets很類似。
c = Counter('abcdeabcdabcaba')
print c
輸出：Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})
其餘詳細內容 http://www.cnblogs.com/Eva-J/articles/7291842.html
時間模塊
和時間有關係的咱們就要用到時間模塊。在使用模塊以前，應該首先導入這個模塊。
#經常使用方法 1.time.sleep(secs) (線程)推遲指定的時間運行。單位爲秒。 2.time.time() 獲取當前時間戳
表示時間的三種方式
在Python中，一般有這三種方式來表示時間：時間戳、元組(struct_time)、格式化的時間字符串：
(1)時間戳(timestamp) ：一般來講，時間戳表示的是從1970年1月1日00:00:00開始按秒計算的偏移量。咱們運行「type(time.time())」，返回的是float類型。
(2)格式化的時間字符串(Format String)： ‘1999-12-06’
python中時間日期格式化符號：
(3)元組(struct_time) ：struct_time元組共有9個元素共九個元素:(年，月，日，時，分，秒，一年中第幾周，一年中第幾天等）
| 索引（Index） | 屬性（Attribute） | 值（Values） |
|---|---|---|
| 0 | tm_year（年） | 好比2011 |
| 1 | tm_mon（月） | 1 - 12 |
| 2 | tm_mday（日） | 1 - 31 |
| 3 | tm_hour（時） | 0 - 23 |
| 4 | tm_min（分） | 0 - 59 |
| 5 | tm_sec（秒） | 0 - 60 |
| 6 | tm_wday（weekday） | 0 - 6（0表示週一） |
| 7 | tm_yday（一年中的第幾天） | 1 - 366 |
| 8 | tm_isdst（是不是夏令時） | 默認爲0 |
首先，咱們先導入time模塊，來認識一下python中表示時間的幾種格式：
#導入時間模塊
>>>import time
#時間戳
>>>time.time()
1500875844.800804
#時間字符串
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 13:54:37'
>>>time.strftime("%Y-%m-%d %H-%M-%S")
'2017-07-24 13-55-04'
#時間元組:localtime將一個時間戳轉換爲當前時區的struct_time
time.localtime()
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24,
tm_hour=13, tm_min=59, tm_sec=37,
tm_wday=0, tm_yday=205, tm_isdst=0)
小結：時間戳是計算機可以識別的時間；時間字符串是人可以看懂的時間；元組則是用來操做時間的
幾種格式之間的轉換
#時間戳-->結構化時間 #time.gmtime(時間戳) #UTC時間，與英國倫敦當地時間一致 #time.localtime(時間戳) #當地時間。例如咱們如今在北京執行這個方法：與UTC時間相差8小時，UTC時間+8小時 = 北京時間 >>>time.gmtime(1500000000) time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=2, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0) >>>time.localtime(1500000000) time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=10, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0) #結構化時間-->時間戳 #time.mktime(結構化時間) >>>time_tuple = time.localtime(1500000000) >>>time.mktime(time_tuple) 1500000000.0
#結構化時間-->字符串時間
#time.strftime("格式定義","結構化時間") 結構化時間參數若不傳，則現實當前時間
>>>time.strftime("%Y-%m-%d %X")
'2017-07-24 14:55:36'
>>>time.strftime("%Y-%m-%d",time.localtime(1500000000))
'2017-07-14'
#字符串時間-->結構化時間
#time.strptime(時間字符串,字符串對應格式)
>>>time.strptime("2017-03-16","%Y-%m-%d")
time.struct_time(tm_year=2017, tm_mon=3, tm_mday=16, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=75, tm_isdst=-1)
>>>time.strptime("07/24/2017","%m/%d/%Y")
time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=0, tm_yday=205, tm_isdst=-1)
#結構化時間 --> %a %b %d %H:%M:%S %Y串 #time.asctime(結構化時間) 若是不傳參數，直接返回當前時間的格式化串 >>>time.asctime(time.localtime(1500000000)) 'Fri Jul 14 10:40:00 2017' >>>time.asctime() 'Mon Jul 24 15:18:33 2017' #時間戳 --> %a %d %d %H:%M:%S %Y串 #time.ctime(時間戳) 若是不傳參數，直接返回當前時間的格式化串 >>>time.ctime() 'Mon Jul 24 15:19:07 2017' >>>time.ctime(1500000000) 'Fri Jul 14 10:40:00 2017'
計算時間差
random模塊
>>> import random #隨機小數 >>> random.random() # 大於0且小於1之間的小數 0.7664338663654585 >>> random.uniform(1,3) #大於1小於3的小數 1.6270147180533838 #隨機整數 >>> random.randint(1,5) # 大於等於1且小於等於5之間的整數 >>> random.randrange(1,10,2) # 大於等於1且小於10之間的奇數 #隨機選擇一個返回 >>> random.choice([1,'23',[4,5]]) # #1或者23或者[4,5] #隨機選擇多個返回，返回的個數爲函數的第二個參數 >>> random.sample([1,'23',[4,5]],2) # #列表元素任意2個組合 [[4, 5], '23'] #打亂列表順序 >>> item=[1,3,5,7,9] >>> random.shuffle(item) # 打亂次序 >>> item [5, 1, 3, 7, 9] >>> random.shuffle(item) >>> item [5, 9, 7, 1, 3]
練習：生成隨機驗證碼
生成驗證碼
os模塊
os模塊是與操做系統交互的一個接口
'''
os.getcwd() 獲取當前工做目錄，即當前python腳本工做的目錄路徑
os.chdir("dirname") 改變當前腳本工做目錄；至關於shell下cd
os.curdir 返回當前目錄: ('.')
os.pardir 獲取當前目錄的父目錄字符串名：('..')
os.makedirs('dirname1/dirname2') 可生成多層遞歸目錄
os.removedirs('dirname1') 若目錄爲空，則刪除，並遞歸到上一級目錄，如若也爲空，則刪除，依此類推
os.mkdir('dirname') 生成單級目錄；至關於shell中mkdir dirname
os.rmdir('dirname') 刪除單級空目錄，若目錄不爲空則沒法刪除，報錯；至關於shell中rmdir dirname
os.listdir('dirname') 列出指定目錄下的全部文件和子目錄，包括隱藏文件，並以列表方式打印
os.remove() 刪除一個文件
os.rename("oldname","newname") 重命名文件/目錄
os.stat('path/filename') 獲取文件/目錄信息
os.sep 輸出操做系統特定的路徑分隔符，win下爲"\\",Linux下爲"/"
os.linesep 輸出當前平臺使用的行終止符，win下爲"\t\n",Linux下爲"\n"
os.pathsep 輸出用於分割文件路徑的字符串 win下爲;,Linux下爲:
os.name 輸出字符串指示當前使用平臺。win->'nt'; Linux->'posix'
os.system("bash command") 運行shell命令，直接顯示
os.popen("bash command).read() 運行shell命令，獲取執行結果
os.environ 獲取系統環境變量
os.path
os.path.abspath(path) 返回path規範化的絕對路徑 os.path.split(path) 將path分割成目錄和文件名二元組返回 os.path.dirname(path) 返回path的目錄。其實就是os.path.split(path)的第一個元素 os.path.basename(path) 返回path最後的文件名。如何path以／或\結尾，那麼就會返回空值。
即os.path.split(path)的第二個元素
os.path.exists(path) 若是path存在，返回True；若是path不存在，返回False
os.path.isabs(path) 若是path是絕對路徑，返回True
os.path.isfile(path) 若是path是一個存在的文件，返回True。不然返回False
os.path.isdir(path) 若是path是一個存在的目錄，則返回True。不然返回False
os.path.join(path1[, path2[, ...]]) 將多個路徑組合後返回，第一個絕對路徑以前的參數將被忽略
os.path.getatime(path) 返回path所指向的文件或者目錄的最後訪問時間
os.path.getmtime(path) 返回path所指向的文件或者目錄的最後修改時間
os.path.getsize(path) 返回path的大小
'''
注意：os.stat('path/filename') 獲取文件/目錄信息 的結構說明
stat 結構
sys模塊
sys模塊是與python解釋器交互的一個接口
sys.argv 命令行參數List，第一個元素是程序自己路徑 sys.exit(n) 退出程序，正常退出時exit(0),錯誤退出sys.exit(1) sys.version 獲取Python解釋程序的版本信息 sys.path 返回模塊的搜索路徑，初始化時使用PYTHONPATH環境變量的值 sys.platform 返回操做系統平臺名稱
異常處理和status
序列化模塊
什麼叫序列化——將本來的字典、列表等內容轉換成一個字符串的過程就叫作序列化。
爲何要有序列化模塊
序列化的目的
json
Json模塊提供了四個功能：dumps、dump、loads、load
loads和dumps
load和dump
ensure_ascii關鍵字參數
其餘參數說明
json的格式化輸出
pickle
json & pickle 模塊
用於序列化的兩個模塊
- json，用於字符串 和 python數據類型間進行轉換
- pickle，用於python特有的類型 和 python的數據類型間進行轉換
pickle模塊提供了四個功能：dumps、dump(序列化，存）、loads（反序列化，讀）、load （不只能夠序列化字典，列表...能夠把python中任意的數據類型序列化）
pickle
這時候機智的你又要說了，既然pickle如此強大，爲何還要學json呢？
這裏咱們要說明一下，json是一種全部的語言均可以識別的數據結構。
若是咱們將一個字典或者序列化成了一個json存在文件裏，那麼java代碼或者js代碼也能夠拿來用。
可是若是咱們用pickle進行序列化，其餘語言就不能讀懂這是什麼了～
因此，若是你序列化的內容是列表或者字典，咱們很是推薦你使用json模塊
但若是出於某種緣由你不得不序列化其餘的數據類型，而將來你還會用python對這個數據進行反序列化的話，那麼就可使用pickle
shelve
shelve也是python提供給咱們的序列化工具，比pickle用起來更簡單一些。
shelve只提供給咱們一個open方法，是用key來訪問的，使用起來和字典相似。
shelve
這個模塊有個限制，它不支持多個應用同一時間往同一個DB進行寫操做。因此當咱們知道咱們的應用若是隻進行讀操做，咱們可讓shelve經過只讀方式打開DB
shelve只讀
因爲shelve在默認狀況下是不會記錄待持久化對象的任何修改的，因此咱們在shelve.open()時候須要修改默認參數，不然對象的修改不會保存。
設置writeback
writeback方式有優勢也有缺點。優勢是減小了咱們出錯的機率，而且讓對象的持久化對用戶更加的透明瞭；但這種方式並非全部的狀況下都須要，首先，使用writeback之後，shelf在open()的時候會增長額外的內存消耗，而且當DB在close()的時候會將緩存中的每個對象都寫入到DB，這也會帶來額外的等待時間。由於shelve沒有辦法知道緩存中哪些對象修改了，哪些對象沒有修改，所以全部的對象都會被寫入。
re模塊
講正題以前咱們先來看一個例子：https://reg.jd.com/reg/person?ReturnUrl=https%3A//www.jd.com/
這是京東的註冊頁面，打開頁面咱們就看到這些要求輸入我的信息的提示。
假如咱們隨意的在手機號碼這一欄輸入一個11111111111，它會提示咱們格式有誤。
這個功能是怎麼實現的呢？
假如如今你用python寫一段代碼，相似：
phone_number = input('please input your phone number ： ')
你怎麼判斷這個phone_number是合法的呢？
根據手機號碼一共11位而且是隻以1三、1四、1五、18開頭的數字這些特色，咱們用python寫了以下代碼：
判斷手機號碼是否合法1
這是你的寫法，如今我要展現一下個人寫法：
判斷手機號碼是否合法2
對比上面的兩種寫法，此時此刻，我要問你你喜歡哪一種方法呀？你確定仍是會說第一種，爲何呢？由於第一種不用學呀！
可是若是如今有一個文件，我讓你從整個文件裏匹配出全部的手機號碼。你用python給我寫個試試？
可是學了今天的技能以後，分分鐘幫你搞定！
今天咱們要學習python裏的re模塊和正則表達式，學會了這個就能夠幫咱們解決剛剛的疑問。正則表達式不只在python領域，在整個編程屆都佔有舉足輕重的地位。
正則表達式和re模塊
正則表達式自己也和python沒有什麼關係，就是匹配字符串內容的一種規則。
官方定義：正則表達式是對字符串操做的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個「規則字符串」，這個「規則字符串」用來表達對字符串的一種過濾邏輯。
正則表達式
一說規則我已經知道你很暈了，如今就讓咱們先來看一些實際的應用。在線測試工具 http://tool.chinaz.com/regex/
首先你要知道的是，談到正則，就只和字符串相關了。在我給你提供的工具中，你輸入的每個字都是一個字符串。
其次，若是在一個位置的一個值，不會出現什麼變化，那麼是不須要規則的。
好比你要用"1"去匹配"1"，或者用"2"去匹配"2"，直接就能夠匹配上。這連python的字符串操做均可以輕鬆作到。
那麼在以後咱們更多要考慮的是在同一個位置上能夠出現的字符的範圍。
字符組
正則 |
待匹配字符 |
匹配 |
說明 |
[0123456789] |
8 |
True |
在一個字符組裏枚舉合法的全部字符，字符組裏的任意一個字符 |
[0123456789] |
a |
False |
因爲字符組中沒有"a"字符，因此不能匹配 |
[0-9] |
7 |
True |
也能夠用-表示範圍,[0-9]就和[0123456789]是一個意思 |
[a-z] |
s |
True |
一樣的若是要匹配全部的小寫字母，直接用[a-z]就能夠表示 |
[A-Z] |
B |
True |
[A-Z]就表示全部的大寫字母 |
[0-9a-fA-F] |
e |
True |
能夠匹配數字，大小寫形式的a～f，用來驗證十六進制字符 |
字符：
元字符 |
匹配內容 |
| . | 匹配除換行符之外的任意字符 |
| \w | 匹配字母或數字或下劃線 |
| \s | 匹配任意的空白符 |
| \d | 匹配數字 |
| \n | 匹配一個換行符 |
| \t | 匹配一個製表符 |
| \b | 匹配一個單詞的結尾 |
| ^ | 匹配字符串的開始 |
| $ | 匹配字符串的結尾 |
| \W | 匹配非字母或數字或下劃線 |
| \D | 匹配非數字 |
| \S | 匹配非空白符 |
| a|b | 匹配字符a或字符b |
| () | 匹配括號內的表達式，也表示一個組 |
| [...] | 匹配字符組中的字符 |
| [^...] | 匹配除了字符組中字符的全部字符 |
量詞：
量詞 |
用法說明 |
| * | 重複零次或更屢次 |
| + | 重複一次或更屢次 |
| ? | 重複零次或一次 |
| {n} | 重複n次 |
| {n,} | 重複n次或更屢次 |
| {n,m} | 重複n到m次 |
. ^ $
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 海. | 海燕海嬌海東 | 海燕海嬌海東 | 匹配全部"海."的字符 |
| ^海. | 海燕海嬌海東 | 海燕 | 只從開頭匹配"海." |
| 海.$ | 海燕海嬌海東 | 海東 | 只匹配結尾的"海.$" |
* + ? { }
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 李.? | 李傑和李蓮英和李二棍子 | 李傑 |
?表示重複零次或一次，即只匹配"李"後面一個任意字符 |
| 李.* | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 | *表示重複零次或屢次，即匹配"李"後面0或多個任意字符 |
| 李.+ | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 | +表示重複一次或屢次，即只匹配"李"後面1個或多個任意字符 |
| 李.{1,2} | 李傑和李蓮英和李二棍子 | 李傑和 |
{1,2}匹配1到2次任意字符 |
注意：前面的*,+,?等都是貪婪匹配，也就是儘量匹配，後面加?號使其變成惰性匹配
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 李.*? | 李傑和李蓮英和李二棍子 | 李 李 李 |
惰性匹配 |
字符集［］［^］
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 李[傑蓮英二棍子]* | 李傑和李蓮英和李二棍子 | 李傑 |
表示匹配"李"字後面[傑蓮英二棍子]的字符任意次 |
| 李[^和]* | 李傑和李蓮英和李二棍子 | 李傑 |
表示匹配一個不是"和"的字符任意次 |
| [\d] | 456bdha3 | 4 |
表示匹配任意一個數字，匹配到4個結果 |
| [\d]+ | 456bdha3 | 456 |
表示匹配任意個數字，匹配到2個結果 |
分組 ()與 或 ｜［^］
身份證號碼是一個長度爲15或18個字符的字符串，若是是15位則所有🈶️數字組成，首位不能爲0；若是是18位，則前17位所有是數字，末位多是數字或x，下面咱們嘗試用正則來表示：
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 |
表示能夠匹配一個正確的身份證號 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 |
表示也能夠匹配這串數字，但這並非一個正確的身份證號碼，它是一個16位的數字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False |
如今不會匹配錯誤的身份證號了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 | 110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]若是沒有匹配上就匹配[1-9]\d{14} |
轉義符 \
在正則表達式中，有不少有特殊意義的是元字符，好比\d和\s等，若是要在正則中匹配正常的"\d"而不是"數字"就須要對"\"進行轉義，變成'\\'。
在python中，不管是正則表達式，仍是待匹配的內容，都是以字符串的形式出現的，在字符串中\也有特殊的含義，自己還須要轉義。因此若是匹配一次"\d",字符串中要寫成'\\d'，那麼正則裏就要寫成"\\\\d",這樣就太麻煩了。這個時候咱們就用到了r'\d'這個概念，此時的正則是r'\\d'就能夠了。
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| \d | \d | False | 由於在正則表達式中\是有特殊意義的字符，因此要匹配\d自己，用表達式\d沒法匹配 |
| \\d | \d | True | 轉義\以後變成\\，便可匹配 |
| "\\\\d" | '\\d' | True | 若是在python中，字符串中的'\'也須要轉義，因此每個字符串'\'又須要轉義一次 |
| r'\\d' | r'\d' | True | 在字符串以前加r，讓整個字符串不轉義 |
貪婪匹配
貪婪匹配：在知足匹配時，匹配儘量長的字符串，默認狀況下，採用貪婪匹配
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| <.*> | <script>...<script> |
<script>...<script> | 默認爲貪婪匹配模式，會匹配儘可能長的字符串 |
| <.*?> | r'\d' | <script> |
加上？爲將貪婪匹配模式轉爲非貪婪匹配模式，會匹配儘可能短的字符串 |
幾個經常使用的非貪婪匹配Pattern
*? 重複任意次，但儘量少重複
+? 重複1次或更屢次，但儘量少重複
?? 重複0次或1次，但儘量少重複
{n,m}? 重複n到m次，但儘量少重複
{n,}? 重複n次以上，但儘量少重複
.*?的用法
. 是任意字符 * 是取 0 至 無限長度 ? 是非貪婪模式。 何在一塊兒就是 取儘可能少的任意字符，通常不會這麼單獨寫，他大多用在： .*?x 就是取前面任意長度的字符，直到一個x出現
re模塊下的經常使用方法
import re
ret = re.findall('a', 'eva egon yuan') # 返回全部知足匹配條件的結果,放在列表裏
print(ret) #結果 : ['a', 'a']
ret = re.search('a', 'eva egon yuan').group()
print(ret) #結果 : 'a'
# 函數會在字符串內查找模式匹配,只到找到第一個匹配而後返回一個包含匹配信息的對象,該對象能夠
# 經過調用group()方法獲得匹配的字符串,若是字符串沒有匹配，則返回None。
ret = re.match('a', 'abc').group() # 同search,不過盡在字符串開始處進行匹配
print(ret)
#結果 : 'a'
ret = re.split('[ab]', 'abcd') # 先按'a'分割獲得''和'bcd',在對''和'bcd'分別按'b'分割
print(ret) # ['', '', 'cd']
ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#將數字替換成'H'，參數1表示只替換1個
print(ret) #evaHegon4yuan4
ret = re.subn('\d', 'H', 'eva3egon4yuan4')#將數字替換成'H'，返回元組(替換的結果,替換了多少次)
print(ret)
obj = re.compile('\d{3}') #將正則表達式編譯成爲一個 正則表達式對象，規則要匹配的是3個數字
ret = obj.search('abc123eeee') #正則表達式對象調用search，參數爲待匹配的字符串
print(ret.group()) #結果 ： 123
import re
ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一個存放匹配結果的迭代器
print(ret) # <callable_iterator object at 0x10195f940>
print(next(ret).group()) #查看第一個結果
print(next(ret).group()) #查看第二個結果
print([i.group() for i in ret]) #查看剩餘的左右結果
注意：
1 findall的優先級查詢：
import re
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 這是由於findall會優先把匹配結果組裏內容返回,若是想要匹配結果,取消權限便可
ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']
2 split的優先級查詢
ret=re.split("\d+","eva3egon4yuan")
print(ret) #結果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）以後所切出的結果是不一樣的，
#沒有（）的沒有保留所匹配的項，可是有（）的卻可以保留了匹配的項，
#這個在某些須要保留匹配部分的使用過程是很是重要的。
練習
一、匹配標籤
View Code
二、匹配整數
View Code
三、數字匹配
View Code
四、爬蟲練習
View Code
簡化版
flags
做業
實現能計算相似 1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等相似公式的計算器程序
在線測試工具 http://tool.chinaz.com/regex/
經常使用模塊二
hashlib模塊
算法介紹
Python的hashlib提供了常見的摘要算法，如MD5，SHA1等等。
什麼是摘要算法呢？摘要算法又稱哈希算法、散列算法。它經過一個函數，把任意長度的數據轉換爲一個長度固定的數據串（一般用16進制的字符串表示）。
摘要算法就是經過摘要函數f()對任意長度的數據data計算出固定長度的摘要digest，目的是爲了發現原始數據是否被人篡改過。
摘要算法之因此能指出數據是否被篡改過，就是由於摘要函數是一個單向函數，計算f(data)很容易，但經過digest反推data卻很是困難。並且，對原始數據作一個bit的修改，都會致使計算出的摘要徹底不一樣。
咱們以常見的摘要算法MD5爲例，計算出一個字符串的MD5值：
import hashlib
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()
計算結果以下：
d26a53750bc40b38b65a520292f69306
若是數據量很大，能夠分塊屢次調用update()，最後計算的結果是同樣的：
md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()
MD5是最多見的摘要算法，速度很快，生成結果是固定的128 bit字節，一般用一個32位的16進制字符串表示。另外一種常見的摘要算法是SHA1，調用SHA1和調用MD5徹底相似：
import hashlib
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()
SHA1的結果是160 bit字節，一般用一個40位的16進制字符串表示。比SHA1更安全的算法是SHA256和SHA512，不過越安全的算法越慢，並且摘要長度更長。
摘要算法應用
任何容許用戶登陸的網站都會存儲用戶登陸的用戶名和口令。如何存儲用戶名和口令呢？方法是存到數據庫表中：
name | password --------+---------- michael | 123456 bob | abc999 alice | alice2008
若是以明文保存用戶口令，若是數據庫泄露，全部用戶的口令就落入黑客的手裏。此外，網站運維人員是能夠訪問數據庫的，也就是能獲取到全部用戶的口令。正確的保存口令的方式是不存儲用戶的明文口令，而是存儲用戶口令的摘要，好比MD5：
username | password ---------+--------------------------------- michael | e10adc3949ba59abbe56e057f20f883e bob | 878ef96e86145580c38c87f0410ad153 alice | 99b1c2188db85afee403b1536010c2c9
考慮這麼個狀況，不少用戶喜歡用123456，888888，password這些簡單的口令，因而，黑客能夠事先計算出這些經常使用口令的MD5值，獲得一個反推表：
'e10adc3949ba59abbe56e057f20f883e': '123456' '21218cca77804d2ba1922c33e0151105': '888888' '5f4dcc3b5aa765d61d8327deb882cf99': 'password'
這樣，無需破解，只須要對比數據庫的MD5，黑客就得到了使用經常使用口令的用戶帳號。
對於用戶來說，固然不要使用過於簡單的口令。可是，咱們可否在程序設計上對簡單口令增強保護呢？
因爲經常使用口令的MD5值很容易被計算出來，因此，要確保存儲的用戶口令不是那些已經被計算出來的經常使用口令的MD5，這一方法經過對原始口令加一個複雜字符串來實現，俗稱「加鹽」：
hashlib.md5("salt".encode("utf8"))
通過Salt處理的MD5口令，只要Salt不被黑客知道，即便用戶輸入簡單口令，也很難經過MD5反推明文口令。
可是若是有兩個用戶都使用了相同的簡單口令好比123456，在數據庫中，將存儲兩條相同的MD5值，這說明這兩個用戶的口令是同樣的。有沒有辦法讓使用相同口令的用戶存儲不一樣的MD5呢？
若是假定用戶沒法修改登陸名，就能夠經過把登陸名做爲Salt的一部分來計算MD5，從而實現相同口令的用戶也存儲不一樣的MD5。
摘要算法在不少地方都有普遍的應用。要注意摘要算法不是加密算法，不能用於加密（由於沒法經過摘要反推明文），只能用於防篡改，可是它的單向計算特性決定了能夠在不存儲明文口令的狀況下驗證用戶口令。
configparser模塊
該模塊適用於配置文件的格式與windows ini文件相似，能夠包含一個或多個節（section），每一個節能夠有多個參數（鍵=值）。
建立文件
來看一個好多軟件的常見文檔格式以下：
[DEFAULT] ServerAliveInterval = 45 Compression = yes CompressionLevel = 9 ForwardX11 = yes [bitbucket.org] User = hg [topsecret.server.com] Port = 50022 ForwardX11 = no
若是想用python生成一個這樣的文檔怎麼作呢？
import configparser
config = configparser.ConfigParser()
config["DEFAULT"] = {'ServerAliveInterval': '45',
'Compression': 'yes',
'CompressionLevel': '9',
'ForwardX11':'yes'
}
config['bitbucket.org'] = {'User':'hg'}
config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}
with open('example.ini', 'w') as configfile:
config.write(configfile)
查找文件
import configparser
config = configparser.ConfigParser()
#---------------------------查找文件內容,基於字典的形式
print(config.sections()) # []
config.read('example.ini')
print(config.sections()) # ['bitbucket.org', 'topsecret.server.com']
print('bytebong.com' in config) # False
print('bitbucket.org' in config) # True
print(config['bitbucket.org']["user"]) # hg
print(config['DEFAULT']['Compression']) #yes
print(config['topsecret.server.com']['ForwardX11']) #no
print(config['bitbucket.org']) #<Section: bitbucket.org>
for key in config['bitbucket.org']: # 注意,有default會默認default的鍵
print(key)
print(config.options('bitbucket.org')) # 同for循環,找到'bitbucket.org'下全部鍵
print(config.items('bitbucket.org')) #找到'bitbucket.org'下全部鍵值對
print(config.get('bitbucket.org','compression')) # yes get方法Section下的key對應的value
增刪改操做
import configparser
config = configparser.ConfigParser()
config.read('example.ini')
config.add_section('yuan')
config.remove_section('bitbucket.org')
config.remove_option('topsecret.server.com',"forwardx11")
config.set('topsecret.server.com','k1','11111')
config.set('yuan','k2','22222')
config.write(open('new2.ini', "w"))
logging模塊
函數式簡單配置
import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
默認狀況下Python的logging模塊將日誌打印到了標準輸出中，且只顯示了大於等於WARNING級別的日誌，這說明默認的日誌級別設置爲WARNING（日誌級別等級CRITICAL > ERROR > WARNING > INFO > DEBUG），默認的日誌格式爲日誌級別：Logger名稱：用戶輸出消息。
靈活配置日誌級別，日誌格式，輸出位置:
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='/tmp/test.log',
filemode='w')
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
配置參數：
View Code
logger對象配置
import logging
logger = logging.getLogger()
# 建立一個handler，用於寫入日誌文件
fh = logging.FileHandler('test.log',encoding='utf-8')
# 再建立一個handler，用於輸出到控制檯
ch = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setLevel(logging.DEBUG)
fh.setFormatter(formatter)
ch.setFormatter(formatter)
logger.addHandler(fh) #logger對象能夠添加多個fh和ch對象
logger.addHandler(ch)
logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')
logging庫提供了多個組件：Logger、Handler、Filter、Formatter。Logger對象提供應用程序可直接使用的接口，Handler發送日誌到適當的目的地，Filter提供了過濾日誌信息的方法，Formatter指定日誌顯示格式。另外，能夠經過：logger.setLevel(logging.Debug)設置級別,固然，也能夠經過
fh.setLevel(logging.Debug)單對文件流設置某個級別。