python之正則表達式模塊

 

1. 正則表達式經常使用匹配規則

1.1 匹配某個字符串

text = 'hello'
ret = re.match('he',text)#math從字符串起始位置開始匹配，起始位置未匹配返回None
print(ret.group())
>> he

以上即可以在hello中，匹配出he。

1.2 點（.）匹配任意的字符

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

可是點（.）不能匹配換行符。示例代碼以下：

text = "\n"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

ret = re.match('.', text, re.DOTALL)#加參數re.DOTALL，點(.)就能夠匹配包換換行符的任意字符
print(ret.group())

1.3 \d匹配任意的數字

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

1.4 \D匹配任意的非數字

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

而若是text是等於一個數字，那麼就匹配不成功了。示例代碼以下：

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

1.5 \s匹配的是空白字符（包括：\n，\t，\r和空格）

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

1.6 \w匹配的是a-z和A-Z以及數字和下劃線

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

而若是要匹配一個其餘的字符，那麼就匹配不到。示例代碼以下：

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

1.7 \W匹配的是和\w相反的

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

而若是你的text是一個下劃線或者英文字符，那麼就匹配不到了。示例代碼以下：

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

1.8 []組合的方式，只要知足中括號中的某一項都算匹配成功

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

以前講到的幾種匹配規則，其實可使用中括號的形式來進行替代：

• \d：[0-9]
• \D：[^0-9]
  
• \w：[0-9a-zA-Z_]
• \W：[^0-9a-zA-Z_]

1.9 匹配多個字符

1. *：能夠匹配0或者任意多個字符。示例代碼以下：

    text = "0731"
    ret = re.match('\d*',text)
    print(ret.group())
    >> 0731

   以上由於匹配的要求是\d，那麼就要求是數字，後面跟了一個星號，就能夠匹配到0731這四個字符。

2. +：能夠匹配1個或者多個字符。最少一個。示例代碼以下：

    text = "abc"
    ret = re.match('\w+',text)
    print(ret.group())
    >> abc

   由於匹配的是\w，那麼就要求是英文字符，後面跟了一個加號，意味着最少要有一個知足\w的字符纔可以匹配到。若是text是一個空白字符或者是一個不知足\w的字符，那麼就會報錯。示例代碼以下：

    text = ""
    ret = re.match('\w+',text)
    print(ret.group())
    >> AttributeError: 'NoneType' object has no attribute

3. ?：匹配的字符能夠出現一次或者不出現（0或者1）。示例代碼以下：

    text = "123"
    ret = re.match('\d?',text)
    print(ret.group())
    >> 1

4. {m}：匹配m個字符。示例代碼以下：

    text = "123"
    ret = re.match('\d{2}',text)
    print(ret.group())
    >> 12

5. {m,n}：匹配m-n個字符。在這中間的字符均可以匹配到。示例代碼以下：

    text = "123"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 12

   若是text只有一個字符，那麼也能夠匹配出來。示例代碼以下：

    text = "1"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 1

驗證手機號碼：手機號碼的規則是以1開頭，第二位能夠是34587，後面那9位就能夠隨意了。示例代碼以下：

 text = "18570631587"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> 18570631587
而若是是個不知足條件的手機號碼。那麼就匹配不到了。示例代碼以下：

 text = "1857063158"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> AttributeError: 'NoneType' object has no attribute
驗證郵箱：郵箱的規則是郵箱名稱是用數字、數字、下劃線組成的，而後是@符號，後面就是域名了。示例代碼以下：

 text = "hynever@163.com"
 ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
 print(ret.group())
驗證URL：URL的規則是前面是http或者https或者是ftp而後再加上一個冒號，再加上一個斜槓，再後面就是能夠出現任意非空白字符了。示例代碼以下：

 text = "http://www.baidu.com/"
 ret = re.match('(http|https|ftp)://[^\s]+',text)
 print(ret.group())
驗證身份證：身份證的規則是，總共有18位，前面17位都是數字，後面一位能夠是數字，也能夠是小寫的x，也能夠是大寫的X。示例代碼以下：

 text = "31131118908123231X"
 ret = re.match('\d{17}[\dxX]',text)
 print(ret.group())

練習

1.10 ^（脫字號）：表示以...開始

text = "hello"
ret = re.match('^h',text)
print(ret.group())

若是是在中括號中，那麼表明的是取反操做.

1.11 $：表示以...結束

# 匹配163.com的郵箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

1.12 |：匹配多個表達式或者字符串

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

1.13 貪婪模式和非貪婪模式

貪婪模式：正則表達式會匹配儘可能多的字符。默認是貪婪模式。
非貪婪模式：正則表達式會盡可能少的匹配字符。
示例代碼以下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 由於默認採用貪婪模式，因此會輸出0123456
>> 0123456

能夠改爲非貪婪模式，那麼就只會匹配到0。示例代碼以下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例：匹配0-100之間的數字：
text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99
而若是text=101，那麼就會拋出一個異常。示例代碼以下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

練習

1.14 轉義字符和原生字符串

在正則表達式中，有些字符是有特殊意義的字符。所以若是想要匹配這些字符，那麼就必須使用反斜槓進行轉義。好比$表明的是以...結尾，若是想要匹配$，那麼就必須使用\$。示例代碼以下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

原生字符串：#r=raw=原生的
在正則表達式中，\是專門用來作轉義的。在Python中\也是用來作轉義的。所以若是想要在普通的字符串中匹配出\，那麼要給出四個\。示例代碼以下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

所以要使用原生字符串就能夠解決這個問題：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())
#說明：python中re.match(pattern,srting)

#中表明匹配規則的字符串pattern具備兩層意義,其一是正則表達式，其中\是專門用來作轉義的。
#其二也是python字符串，在Python中\也是用來作轉義的。
#故python字符串'\\\\c'轉義後爲'\\c' -> 傳給正則表達式，正則表達式轉義後爲'\c'，故要在普通的字符串中匹配出\，那麼要給出四個\。

 

2. re模塊中經常使用函數

2.1 match

從開始的位置進行匹配。若是開始的位置沒有匹配到。就直接失敗了。示例代碼以下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

若是第一個字母不是h，那麼就會失敗。示例代碼以下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

若是想要匹配換行的數據，那麼就要傳入一個flag=re.DOTALL，就能夠匹配換行符了。示例代碼以下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

2.2 search

在字符串中找知足條件的字符。若是找到，就返回。說白了，就是隻會找到第一個知足條件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

2.3 分組

在正則表達式中，能夠對過濾到的字符串進行分組。分組使用圓括號的方式。

group：和group(0)是等價的，返回的是整個知足條件的字符串。
groups：返回的是裏面的子組。索引從1開始。
group(1)：返回的是第一個子組，能夠傳入多個。
示例代碼以下：
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))#提取整個分組=ret.group()
print(ret.group(1))#提取第一個分組
print(ret.group(1,2))#提取第一個和第二個分組
print(ret.groups())#提取多個子分組

2.4 findall

找出全部知足條件的，返回的是一個列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

2.5 sub

用來替換字符串。將匹配到的字符串替換爲其餘字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

sub函數的案例，獲取拉勾網中的數據：

html = """
<div>
<p>基本要求：</p>
<p>一、精通HTML五、CSS三、 JavaScript等Web前端開發技術，對html5頁面適配充分了解，熟悉不一樣瀏覽器間的差別，熟練寫出兼容各類瀏覽器的代碼；</p>
<p>二、熟悉運用常見JS開發框架，如JQuery、vue、angular，能快速高效實現各類交互效果；</p>
<p>三、熟悉編寫可以自動適應HTML5界面，能讓網頁格式自動適應各款各大小的手機；</p>
<p>四、利用HTML5相關技術開發移動平臺、PC終端的前端頁面，實現HTML5模板化；</p>
<p>五、熟悉手機端和PC端web實現的差別，有移動平臺web前端開發經驗，瞭解移動互聯網產品和行業，有在Android,iOS等平臺下HTML5+CSS+JavaScript（或移動JS框架）開發經驗者優先考慮；六、良好的溝通能力和團隊協做精神，對移動互聯網行業有濃厚興趣，有較強的研究能力和學習能力；</p>
<p>七、可以承擔公司前端培訓工做，對公司各業務線的前端（HTML5\CSS3）工做進行支撐和指導。</p>
<p><br></p>
<p>崗位職責：</p>
<p>一、利用html5及相關技術開發移動平臺、微信、APP等前端頁面，各種交互的實現；</p>
<p>二、持續的優化前端體驗和頁面響應速度，並保證兼容性和執行效率；</p>
<p>三、根據產品需求，分析並給出最優的頁面前端結構解決方案；</p>
<p>四、協助後臺及客戶端開發人員完成功能開發和調試；</p>
<p>五、移動端主流瀏覽器的適配、移動端界面自適應研發。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

2.6 split

使用正則表達式來分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

2.7 compile

對於一些常常要用到的正則表達式，可使用compile進行編譯，後期再使用的時候能夠直接拿過來用，執行效率會更快。並且compile還能夠指定flag=re.VERBOSE，在寫正則表達式的時候能夠作好註釋。示例代碼以下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小數點前面的數字
                \.? # 小數點
                \d* # 小數點後面的數字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

#-*-coding = utf-8 -*-
import re
import requests

def parse_page(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
    response = requests.get(url,headers=headers)
    text = response.text
    titles = re.findall(r'<div class="cont">.*?<b>(.*?)</b>',text,re.DOTALL)
    dynasties = re.findall(r'<p class="source".*?<a.*?>(.*?)</a>',text,re.DOTALL)
    authors = re.findall(r'<p class="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text)
    contents = re.findall(r'<div class="contson".*?>(.*?)</div>',text,re.DOTALL)
    poems = []
    data = []
    for poem in contents:
        x = re.sub(r'<.*?>',"",poem)
        poems.append(x.strip())
    for title,dynasty,author,poem in zip(titles,dynasties,authors,poems):
        data.append({
            'title':title,
            'dynasty':dynasty,
            'author':author,
            'poem':poem
        })
    return data

if __name__=='__main__':
    url = 'https://www.gushiwen.org/default_1.aspx'
    data = parse_page(url)
    print(data)

爬取古詩文網練習

 

>>>>>待續