正則表達式 re模塊 re模塊實用方法

一. 正則表達式

 

　　首先, 咱們在網⻚上進行註冊或者登錄的時候常常能看到一些格式上的錯誤提示. 好比:你在註冊百度帳號的時候 輸入用戶名隨意的輸入系統會提示你. 你的帳號過長或者不容許使用中文等等操做. 那這種操做若是使用咱們現有的知識點是能夠完成的. 可是完成的效果並很差. 寫起來也不容易. 尤爲是對郵箱的匹配. 電話號碼的匹配. 那正則表達式就是專門來處理理相似問題的一種表達式. 英⽂全稱: Regular Expression. 簡稱 regex或者re. 但你要知道咱們在使⽤用python的re模塊以前. 咱們首先要對正則有必定的了解和認識. 就像咱們使用time模塊以前. 咱們已經對時間有了必定的認識.

　　正則表達式是對字符串操做的一種邏輯公式. 咱們⼀般使用正則表達式對字符串進行匹配和過濾.

使用正則的優缺點:

優勢: 靈活, 功能性強, 邏輯性強.
缺點: 上手難. 一旦上手, 會愛上這個東西
工具: 各大文本編輯器通常都有正則匹配功能. 咱們也能夠去
http://tool.chinaz.com/regex/進行在線測試.
　　正則表達式由普通字符和元字符組成. 普通字符包含大小寫字母, 數字. 在匹配普通字符
的時候咱們直接寫就能夠了. 好比"abc" 匹配的就是"abc". 咱們若是用python也能夠實現相
同的效果. 因此普通字符沒什麼好說的. 重點在元字符上.

元字符: 元字符纔是正則表達式的靈魂. 元字符中的內容太多了, 在這里咱們只介一些
經常使用的.

　　1. 字符組
　　字符組很簡單用[]括起來. 在[]中出現的內容會被匹配. 例如:[abc] 匹配a或b或c
若是字符組中的內容過多還可使用- , 例如: [a-z] 匹配a到z之間的全部字⺟ [0-9]
匹配全部阿拉伯數字

　　2. 簡單元字符
　　基本的元字符. 這個東⻄網上一搜一大堆. 可是經常使用的就那麼幾個:

. 匹配除換行符之外的任意字符 \w 匹配字母或數字或下劃線 \s 匹配任意的空白符 \d 匹配數字 \n 匹配一個換行符 \t 匹配一個製表符 \b 匹配一個單詞的結尾 ^ 匹配字符串的開始 $ 匹配字符串的結尾 \W 匹配⾮字⺟或數字或下劃線 \D 匹配⾮數字 \S 匹配⾮空⽩符 a|b 匹配字符a或字符 () 匹配括號內的表達式，也表示一個組 [...] 匹配字符組中的字符 [^...] 匹配除了字符組中字符的全部字符
..............還有不少,本身上網搜...........

 

　　3. 量詞
　　咱們到目前匹配的全部內容都是單⼀⽂字符號. 那如何一次性匹配不少個字符呢,
咱們要用到量詞

* 重複零次或更屢次 + 重複⼀次或更屢次 ? 重複零次或一次 {n} 重複n次 {n,} 重複n次或更屢次 {n,m} 重複n到m次

 

　　4. 惰性匹配和貪婪匹配
　　在量詞中的*, +,{} 都屬於貪婪匹配. 就是儘量多的匹配到結果.

str: 麻花藤昨天讓英雄聯盟關服了 reg: 麻花藤.* 此時匹配的是整句話

　　在使用.*後⾯若是加了? 則是儘量的少匹配. 表示惰性匹配

str: 麻花藤昨天讓英雄聯盟關服了 reg: 麻花藤.*? 此時匹配的是 麻花藤 str: <div>胡辣湯</div> reg: <.*> 結果: <div>胡辣湯</div> str: <div>胡辣湯</div> reg: <.*?> 結果:

<div>

　　.*?x的特殊含義 找到下一個x爲止.

str: abcdefgxhijklmn reg: .*?x 結果:abcdefgx

 

　　5. 分組
　　在正則中使用()進行分組. 好比. 咱們要匹配一個相對複雜的身份證號. ⾝份證號分
成兩種. 老的身份證號有15位. 新的身份證號有18位. 而且新的⾝份證號結尾有多是x.

 

給出如下正則:
^[1-9]\d{13,16}[0-9x]$　　　　#不行
^[1-9]\d{14}(\d{2}[0-9x])?$       #可用
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$    #不可用

 

　　6. 轉義
　　在正則表達式中, 有不少有特殊意義的是元字符, 好比\n和\s等,若是要在正則中匹
配正常的"\n"而不是"換行符"就須要對"\"進行轉義, 變成'\\'.在python中, 不管是正則表達式, 還
是待匹配的內容, 都是以字符串的形式出現的, 在字符串中\也有特殊的含義, 自己還須要轉
義. 因此若是匹配一次"\n", 字符串中要寫成'\\n', 那麼正則里就要寫成"\\\\n",這樣就太麻煩了.
這個時候咱們就用到了r'\n'這個概念, 此時的正則是r'\\n'就能夠了.

 

 

二. re模塊

# re的工做是在python中執行正則表達式
　　re模塊是python提供的一套關於處理正則表達式的模塊. 核心功能有四個:
　　　　1. findall 查找全部. 返回list

lst = re.findall("m", "mai le fo len, mai ni mei!") print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5點以前. 你要給我5000萬") print(lst) # ['5', '5000']

　　　　2. search 會進行匹配. 可是若是匹配到了第一個結果. 就會返回這個結果. 若是匹配不
上search返回的則是None

ret = re.search(r'\d', '5點以前. 你要給我5000萬').group() print(ret) # 5

　　　　3. match 只能從字符串的開頭進行匹配

ret = re.match('a', 'abc').group() print(ret) # a

　　　　4. finditer 和findall差很少. 只不過這時返回的是迭代器　　

it = re.finditer("m", "mai le fo len, mai ni mei!") for el in it: 　　print(el.group()) # 依然須要分組

 

　　　　5. 其餘操做

ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割獲得'qwer'和'fjbcd',再
對'qwer'和'fjbcd'分別按'b'分割
print(ret) # ['qwer', 'fj', 'cd']

ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中的數字換成__sb__ print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 將數字替
換成'__sb__'，返回元組(替換的結果,替換了多少次) print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)


obj = re.compile(r'\d{3}') # 將正則表達式編譯成爲一個 正則表達式對象, 規則要匹配的
是3個數字 ret = obj.search('abc123eeee') # 正則表達式對象調用search, 參數爲待匹配的字符串串
print(ret.group()) # 結果: 123


爬蟲重點: obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 從正則表達式匹配的內容每一個組起名
字 ret = obj.search('abc123eeee') # 搜索
print(ret.group()) # 結果: 123eeee
print(ret.group("id")) # 結果: 123 # 獲取id組的內容
print(ret.group("name")) # 結果: eeee # 獲取name組的內容

 

# 正則的經常使用操做
result = re.split("\d+", "寶寶110來找你了. 你回頭收拾收拾去119報道")
print(result)

用正則替換
s = re.sub("\d+", "__sb__", "寶寶110來找你了. 你回頭收拾收拾去119報道")
print(s)

s = re.subn("\d+", "__sb__", "寶寶110來找你了. 你回頭收拾收拾去119報道") # 替換了xxx次
print(s)

code = "for i in range(10): print(i)"

c = compile(code, "", "exec") # 編譯

exec(c) # 快速執行

reg = re.compile(r"\d+") # 編譯了一段正則. 加載了一段正則
lst = reg.findall("呵呵, 寶寶纔不去110呢.他要去120了")
print(lst)

re.findall(r"\d+", "呵呵, 寶寶纔不去110呢.他要去120了")

lst = re.findall(r"a(?:\d+)c", "a123456c") # 把括號python中的分組變成了原來正則表達式中的分組
print(lst)

 

 

 

6. 兩個坑
注意: 在re模塊中和咱們在線測試工具中的結果多是不同的.

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 這是由於findall會優先把匹配結果組里內容返回,若是想要匹
配結果,取消權限便可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']

 

split里也有⼀個坑

ret=re.split("\d+","eva3egon4yuan") print(ret) #結果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan") print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）以後所切出的結果是不同的， #沒有（）的沒有保留所匹配的項，可是有（）的卻可以保留了匹配的項， #這個在某些須要保留匹配部分的使⽤過程是很是重要的。

 

 

 

這種優先級的問題有時候會幫咱們完成不少功能. 咱們來看一個比較複雜的例子

import re from urllib.request import urlopen import ssl # 幹掉數字簽名證書
ssl._create_default_https_context = ssl._create_unverified_context
 def getPage(url): 　　response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): 　　ret = re.findall( '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
(?P<comment_num>.*?)評價</span>', s, re.S)


return ret def main(num): 　　url = 'https://movie.douban.com/top250?start=%s&filter=' % num 　　response_html = getPage(url) 　　ret = parsePage(response_html) 　　print(ret) count = 0 for i in range(10): # 10頁
　　main(count) 　　count += 25

　　此時利用的就是分組以後. 匹配成功後獲取到的是分組後的結果. (?P<id>\d+) 此時當前
組所匹配的數據就會被分組到id組內. 此時程序能夠改寫成:import ssl

import re from urllib.request import urlopen 

# ⼲掉數字簽名證書

ssl._create_default_https_context = ssl._create_unverified_context 

def getPage(url): 　　response = urlopen(url) 　　return response.read().decode('utf-8')
 def parsePage(s): 　　com = re.compile( 　　　　　　'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
　　　　　　<span class="title">(?P<title>.*?)</span>' 　　　　　　'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?
　　　　　　<span>(?P<comment_num>.*?)評價</span>', re.S)
　　ret = com.finditer(s)
 　　for i in ret: 　　　　yield { 　　　　"id": i.group("id"), 　　　　"title": i.group("title"), 　　　　"rating_num": i.group("rating_num"), 　　　　"comment_num": i.group("comment_num"), 　　　　} def main(num): 　　url = 'https://movie.douban.com/top250?start=%s&filter=' % num 　　response_html = getPage(url) 　　ret = parsePage(response_html) 　　# print(ret)
　　f = open("move_info7", "a", encoding="utf8") 　　for obj in ret: 　　　　print(obj) 　　　　data = str(obj) 　　　　f.write(data + "\n")
 count = 0 for i in range(10): 　　main(count) 　　count += 25

　　正則表達式和re模塊就說這麼多. 若是要把正則全部的內容所有講清楚講明白, ⾄少要一週
以上的時間. 對於咱們平常使用⽽言. 上述知識點已經夠用了. 若是碰到一些極端狀況建議想
辦法分部處理. 先對字符串進⾏行拆分. 而後再考慮用正則.

 

# 爬取電影天堂   極其簡易版
from urllib.request import urlopen

content = urlopen("https://www.dytt8.net/html/gndy/dyzz/20181219/57954.html").read().decode("gbk")
# print(content)

reg = r'<div id="Zoom">.*?片　　名(?P<name>.*?)<br />◎年　　代(?P<years>.*?)<br />.*?◎上映日期(?P<date>.*?)<br />'+ \
'.*?◎主　　演(?P<main>.*?)◎簡　　介.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">'

it = re.finditer(reg, content, re.S) # re.S 去掉.裏面的\n

for el in it:
    print(el.group("name"))
    print(el.group("years"))
    print(el.group("date"))
    print(el.group("main").replace("<br />　　　　　　", ", "))
    print(el.group("download"))