正則表達式2:感覺

元字符: 元字符纔是正則表達式的靈魂. 元字符中的內容太多了了, 在這⾥裏里咱們只介紹⼀一些
常⽤用的.
1. 字符組
字符組很簡單⽤用[]括起來. 在[]中出現的內容會被匹配. 例例如:[abc] 匹配a或b或c
若是字符組中的內容過多還可使⽤用- , 例例如: [a-z] 匹配a到z之間的全部字⺟母 [0-9]
匹配全部阿拉伯數字
思考: [a-zA-Z0-9]匹配的是什什麼?
2. 簡單元字符
基本的元字符. 這個東⻄西⽹網上⼀一搜⼀一⼤大堆. 可是常⽤用的就那麼⼏幾個:
. 匹配除換⾏行行符之外的任意字符
\w 匹配字⺟母或數字或下劃線
\s 匹配任意的空⽩白符

\d 匹配數字
\n 匹配⼀一個換⾏行行符
\t 匹配⼀一個製表符
\b 匹配⼀一個單詞的結尾
^ 匹配字符串串的開始
$ 匹配字符串串的結尾
\W 匹配⾮非字⺟母或數字或下劃線
\D 匹配⾮非數字
\S 匹配⾮非空⽩白符
a|b 匹配字符a或字符b
() 匹配括號內的表達式，也表示⼀一個組
[...] 匹配字符組中的字符
[^...] 匹配除了了字符組中字符的全部字符

3. 量量詞
咱們到⽬目前匹配的全部內容都是單⼀一⽂文字符號. 那如何⼀一次性匹配不少個字符呢,
咱們要⽤用到量量詞
* 重複零次或更更屢次
+ 重複⼀一次或更更屢次
? 重複零次或⼀一次
{n} 重複n次
{n,} 重複n次或更更屢次
{n,m} 重複n到m次

4. 惰性匹配和貪婪匹配
在量量詞中的*, +,{} 都屬於貪婪匹配. 就是儘量多的匹配到結果.
str: 麻花藤昨天讓英雄聯盟關服了了
reg: 麻花藤.*
此時匹配的是整句句話
在使⽤用.*後⾯面若是加了了? 則是儘量的少匹配. 表⽰示惰性匹配
str: 麻花藤昨天讓英雄聯盟關服了了
reg: 麻花藤.*?
此時匹配的是 麻花藤
str: <div>胡辣湯</div>
reg: <.*>
結果: <div>胡辣湯</div>

str: <div>胡辣湯</div>
reg: <.*?>
結果:

<div>
</div>
str: <div>胡辣湯</div>
reg: <(div|/div*)?>
結果:
<div>
</div>

.*?x的特殊含義 找到下⼀一個x爲⽌止.
str: abcdefgxhijklmn
reg: .*?x
結果:abcdefgx

5. 分組
在正則中使⽤用()進⾏行行分組. 好比. 咱們要匹配⼀一個相對複雜的⾝身份證號. ⾝身份證號分
成兩種. 老的⾝身份證號有15位. 新的⾝身份證號有18位. 而且新的⾝身份證號結尾有多是x.
給出如下正則:
^[1-9]\d{13,16}[0-9x]$
^[1-9]\d{14}(\d{2}[0-9x])?$
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$
6. 轉義
在正則表達式中, 有不少有特殊意義的是元字符, ⽐好比\n和\s等,若是要在正則中匹
配正常的"\n"⽽而不不是"換⾏行行符"就須要對"\"進⾏行行轉義, 變成'\\'.在python中, ⽆不管是正則表達式, 還
是待匹配的內容, 都是以字符串串的形式出現的, 在字符串串中\也有特殊的含義, 自己還須要轉
義. 因此若是匹配⼀一次"\n", 字符串串中要寫成'\\n', 那麼正則⾥裏里就要寫成"\\\\n",這樣就太麻煩了了.
這個時候咱們就⽤用到了了r'\n'這個概念, 此時的正則是r'\\n'就能夠了了.

練習:
1. 匹配郵箱
2. 匹配⼿手機號
3. 匹配⽣生⽇日. ⽇日期格式(yyyy-MM-dd)
4. 匹配電話號碼
5. 匹配IP

⼆二. re模塊
re模塊是python提供的⼀一套關於處理理正則表達式的模塊. 核⼼心功能有四個:
1. findall 查找全部. 返回list
lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5點以前. 你要給我5000萬")

print(lst) # ['5', '5000']

2. search 會進⾏行行匹配. 可是若是匹配到了了第⼀一個結果. 就會返回這個結果. 若是匹配不
上search返回的則是None
ret = re.search(r'\d', '5點以前. 你要給我5000萬').group()
print(ret) # 5
3. match 只能從字符串串的開頭進⾏行行匹配
ret = re.match('a', 'abc').group()
print(ret) # a
4. finditer 和findall差很少. 只不過這時返回的是迭代器
it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
print(el.group()) # 依然須要分組
5. 其餘操做

ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割獲得'qwer'和'fjbcd',在
對'qwer'和'fjbcd'分別按'b'分割
print(ret) # ['qwer', 'fj', 'cd']
ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串串中
的數字換成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 將數字替
換成'__sb__'，返回元組(替換的結果,替換了了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
obj = re.compile(r'\d{3}') # 將正則表達式編譯成爲⼀一個 正則表達式對象, 規則要匹配的
是3個數字
ret = obj.search('abc123eeee') # 正則表達式對象調⽤用search, 參數爲待匹配的字符串串
print(ret.group()) # 結果: 123
爬⾍蟲重點:
obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 從正則表達式匹配的內容每一個組起名
字
ret = obj.search('abc123eeee') # 搜索
print(ret.group()) # 結果: 123eeee
print(ret.group("id")) # 結果: 123 # 獲取id組的內容
print(ret.group("name")) # 結果: eeee # 獲取name組的內容

 

6. 兩個坑
注意: 在re模塊中和咱們在線測試⼯工具中的結果多是不⼀同樣的.
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 這是由於findall會優先把匹配結果組⾥裏里內容返回,若是想要匹
配結果,取消權限便可
ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']

split⾥裏里也有⼀一個坑
ret=re.split("\d+","eva3egon4yuan")
print(ret) #結果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）以後所切出的結果是不不同的，
#沒有（）的沒有保留留所匹配的項，可是有（）的卻可以保留留了了匹配的項，
#這個在某些須要保留留匹配部分的使⽤用過程是⾮很是重要的。

這種優先級的問題有時候會幫咱們完成不少功能. 咱們來看⼀一個比較複雜的例例⼦子
import re
from urllib.request import urlopen
import ssl
# ⼲幹掉數字簽名證書
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
ret = re.findall(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
(?P<comment_num>.*?)評價</span>', s, re.S)
return ret
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
print(ret)
count = 0
for i in range(10): # 10⻚頁

main(count)
count += 25
此時利利⽤用的就是分組以後. 匹配成功後獲取到的是分組後的結果. (?P<id>\d+) 此時當前
組所匹配的數據就會被分組到id組內. 此時程序能夠改寫成:
import ssl
import re
from urllib.request import urlopen
# ⼲幹掉數字簽名證書
ssl._create_default_https_context = ssl._create_unverified_context

def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?
<span>(?P<comment_num>.*?)評價</span>', re.S)
ret = com.finditer(s)
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
}

def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
# print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "\n")
count = 0
for i in range(10):
main(count)

count += 25

正則表達式和re模塊就說這麼多. 若是要把正則全部的內容所有講清楚講明⽩白, ⾄至少要⼀一週以上的時間. 對於咱們⽇平常使⽤用⽽而⾔言. 上述知識點已經夠⽤用了了. 若是碰到⼀一些極端狀況建議想辦法分部處理理. 先對字符串串進⾏行行拆分. 而後再考慮⽤用正則.