經常使用模塊3（和以前的1，2一塊兒食用效果更佳）

本節主要內容
1. 正則表達式
2. re模塊的使⽤
3. ⼀堆練習

1、正則表達式

　　⾸先, 咱們在⽹⻚上進⾏註冊或者登錄的時候常常能看到⼀些格式上的錯誤提⽰. 好比:
你在註冊百度帳號的時候https://passport.baidu.com/v2/?reg&regType=1&tpl=wk 輸入⽤戶
名隨意的輸入系統會提⽰你. 你的帳號過⻓或者不容許使⽤中⽂等等操做. 那這種操做若是使

⽤咱們現有的知識點是能夠完成的. 可是完成的效果並很差. 寫起來也不容易. 尤爲是對郵箱
的匹配. 電話號碼的匹配. 那正則表達式就是專⻔來處理相似問題的⼀種表達式. 英⽂全
稱: Regular Expression. 簡稱 regex或者re. 但你要知道咱們在使⽤python的re模塊以前. 我

們⾸先要對正則有⼀定的瞭解和認識. 就像咱們使⽤time模塊以前. 咱們已經對時間有了⼀定
的認識.

　　正則表達式是對字符串操做的⼀種邏輯公式. 咱們⼀般使⽤正則表達式對字符串進⾏匹
配和過濾. 使⽤正則的優缺點:

　　優勢: 靈活, 功能性強, 邏輯性強.
　　缺點: 上⼿難. ⼀旦上⼿, 會愛上這個東⻄
　　⼯具: 各⼤⽂本編輯器⼀般都有正則匹配功能. 咱們也能夠去http://tool.chinaz.com/regex/進⾏在線測試. 

　　正則表達式由普通字符和元字符組成. 普通字符包含⼤⼩寫字⺟, 數字. 在匹配普通字符
的時候咱們直接寫就能夠了. 好比"abc" 匹配的就是"abc". 咱們若是⽤python也能夠實現相
同的效果. 因此普通字符沒什麼好說的. 重點在元字符上.

　　元字符: 元字符纔是正則表達式的靈魂. 元字符中的內容太多了, 在這⾥咱們只介紹⼀些
常⽤的.

 

1. 字符組
　　字符組很簡單⽤[]括起來. 在[]中出現的內容會被匹配. 例如:[abc] 匹配a或b或c
若是字符組中的內容過多還可使⽤- , 例如: [a-z] 匹配a到z之間的全部字⺟ [0-9]
匹配全部阿拉伯數字

　　思考: [a-zA-Z0-9]匹配的是什麼?

2. 簡單元字符
　　基本的元字符. 這個東⻄⽹上⼀搜⼀⼤堆. 可是常⽤的就那麼⼏個:

. 匹配除換⾏符之外的任意字符
\w 匹配字⺟或數字或下劃線
\s 匹配任意的空⽩符
\d 匹配數字
\n 匹配⼀個換⾏符
\t 匹配⼀個製表符
\b 匹配⼀個單詞的結尾
^ 匹配字符串的開始
$ 匹配字符串的結尾
\W 匹配⾮字⺟或數字或下劃線
\D 匹配⾮數字
\S 匹配⾮空⽩符
a|b 匹配字符a或字符b
() 匹配括號內的表達式，也表示⼀個組
[...] 匹配字符組中的字符
[^...] 匹配除了字符組中字符的全部字符

3.量詞

　　咱們到⽬前匹配的全部內容都是單⼀⽂字符號. 那如何⼀次性匹配不少個字符呢,
咱們要⽤到量詞。

* 重複零次或更屢次
+ 重複⼀次或更屢次
? 重複零次或⼀次
{n} 重複n次
{n,} 重複n次或更屢次
{n,m} 重複n到m次

4.惰性匹配和貪婪匹配

　　在量詞中的*, +,{} 都屬於貪婪匹配. 就是儘量多的匹配到結果. 

str: 麻花藤昨天讓英雄聯盟關服了
reg: 麻花藤.* 
此時匹配的是整句話

　　在使⽤.*後⾯若是加了? 則是儘量的少匹配. 表⽰惰性匹配

str: 麻花藤昨天讓英雄聯盟關服了
reg: 麻花藤.*?
此時匹配的是 麻花藤
str: <div>胡辣湯</div>
reg: <.*>
結果: <div>胡辣湯</div>
str: <div>胡辣湯</div>
reg: <.*?>
結果: 
<div>
 </div>
str: <div>胡辣湯</div>
reg: <(div|/div*)?>
結果:
 <div>
 </div>

　　.*?x的特殊含義 找到下⼀個x爲⽌. 

str: abcdefgxhijklmn
reg: .*?x
結果:abcdefgx

5.分組

　　在正則中使⽤()進⾏分組. 好比. 咱們要匹配⼀個相對複雜的⾝份證號. ⾝份證號分
成兩種. 老的⾝份證號有15位. 新的⾝份證號有18位. 而且新的⾝份證號結尾有多是x.

給出如下正則:
^[1-9]\d{13,16}[0-9x]$
^[1-9]\d{14}(\d{2}[0-9x])?$
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$

6.轉義

　　

6. 轉義
　　在正則表達式中, 有不少有特殊意義的是元字符, ⽐如\n和\s等,若是要在正則中匹
配正常的"\n"⽽不是"換⾏符"就須要對"\"進⾏轉義, 變成'\\'.在python中, ⽆論是正則表達式, 還
是待匹配的內容, 都是以字符串的形式出現的, 在字符串中\也有特殊的含義, 自己還須要轉
義. 因此若是匹配⼀次"\n", 字符串中要寫成'\\n', 那麼正則⾥就要寫成成"\\\\n",這樣就太麻煩了.

這個時候咱們就⽤到了r'\n'這個概念, 此時的正則是r'\\n'就能夠了.

 

練習:
1. 匹配郵箱
2. 匹配⼿機號
3. 匹配⽣⽇. ⽇期格式(yyyy-MM-dd)

 

2、re模塊

　　re模塊是python提供的⼀套關於處理正則表達式的模塊. 核⼼功能有四個: 

　　1.findall 查找全部，返回list

lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5點以前. 你要給我5000萬")
print(lst) # ['5', '5000']

　　2.search會進行匹配，可是若是匹配到了第一個結果。就會返回這個結果。若是匹配不上search

　　返回的則是None

ret = re.search(r'\d', '5點以前. 你要給我5000萬').group()
print(ret) # 5

　　3.match 只能從字符串的開頭進行匹配

ret = re.match('a', 'abc').group() 
print(ret) # a

　　4. finditer 和findall差很少. 只不過這時返回的是迭代器

it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
     print(el.group()) # 依然須要分組

　　5.其餘的操做

ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割獲得'qwer'和'fjbcd',在
對'qwer'和'fjbcd'分別按'b'分割
print(ret) # ['qwer', 'fj', 'cd']

ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中
的數字換成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 將數字替
換成'__sb__'，返回元組(替換的結果,替換了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)

obj = re.compile(r'\d{3}') # 將正則表達式編譯成爲⼀個 正則表達式對象, 規則要匹配的
是3個數字
ret = obj.search('abc123eeee') # 正則表達式對象調⽤search, 參數爲待匹配的字符串
print(ret.group()) # 結果: 123

　　6.爬蟲重點：

obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 從正則表達式匹配的內容每一個組起名
字
ret = obj.search('abc123eeee') # 搜索
print(ret.group()) # 結果: 123eeee
print(ret.group("id")) # 結果: 123 # 獲取id組的內容
print(ret.group("name")) # 結果: eeee # 獲取name組的內容

　　以上有兩個坑

　　注意：在re模塊中和咱們在線測試工具中的結果多是不同的。

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 這是由於findall會優先把匹配結果組⾥內容返回,若是想要匹
配結果,取消權限便可

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']

　　split裏也有一個坑

ret=re.split("\d+","eva3egon4yuan")
print(ret) #結果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）以後所切出的結果是不一樣的，
#沒有（）的沒有保留所匹配的項，可是有（）的卻可以保留了匹配的項，
#這個在某些須要保留匹配部分的使⽤過程是⾮常重要的。

　　這種優先級的問題有時候會幫咱們完成不少功能. 咱們來看⼀個比較複雜的例⼦

import re
from urllib.request import urlopen
import ssl

# ⼲掉數字簽名證書
ssl._create_default_https_context = ssl._create_unverified_context

content = urlopen("https://www.dytt8.net/html/gndy/dyzz/20181228/57986.html").read().decode("gbk")
# print(content) #測試下是否能夠獲取到
reg = r'<div id="Zoom">.*?◎片　　名(?P<DVD_name>.*?)<br />◎年　　代(?P<years>.*?)<br />◎產　　地(?P<made_address>.*?)<br />.*?<br />◎主　　演(?P<main_yan>.*?)◎簡　　介 <br /><br />(?P<jianjie>.*?)<br /><br />.*?<a href="(?P<DownLine>.*?)">'
res = re.finditer(reg,content,re.S)
for i in res:
    print("電影名：")
    print("\t"+i.group("DVD_name")) #電影名字
    print("年代：")
    print("\t"+i.group("years")) # 年代
    print("產地：")
    print("\t"+i.group("made_address")) #產地
    print("主演：")
    print("\t"+i.group("main_yan").replace("<br />","、").replace("　　　　　　","")) #主演
    print("簡介：")
    print("\t"+i.group("jianjie")) # 簡介
    print("下載連接：")
    print("\t"+i.group("DownLine")) #下載連接

　　正則表達式和re模塊就說這麼多. 若是要把正則全部的內容所有講清楚講明⽩, ⾄少要⼀周以上的時間. 對於咱們⽇常使⽤⽽⾔. 上述知識點已經夠⽤了. 若是碰到⼀些極端狀況建議想辦法分部處理. 先對字符串進⾏拆分. 而後再考慮⽤正則.