Python爬蟲必學知識點：正則表達式講解

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,若有問題請及時聯繫咱們以做處理。

如下文章一級AI入門學習 ，做者小伍哥

剛接觸Python的新手、小白，能夠複製下面的連接去免費觀看Python的基礎入門教學視頻

https://v.douyu.com/author/y6AZ4jn9jwKW

 

 

前言

正則表達式（Regular Expression），就是具備必定規則的表達式。經過正則表達式引擎，將這些規則轉換爲正則表達式對象，而後再去文本中搜索可以與之匹配的字符串。

正則表達式的語法都是同樣的，只是不一樣編程語言的實現不一樣，大部分都是師從Perl。

對Perl語言有所瞭解的朋友，學習python正則應該是手到擒來。

正則表達式入門

Python中的re模塊提供了強大的正則表達式功能。

而第三方模塊regex提供了與標準庫re模塊兼容的API接口, 同時還提供了額外的功能和更全面的Unicode支持。

 

匹配字符

大多數字母和字符只會匹配自身，例如：python只會匹配本身，不會匹配Python。

可是有一些字符串，它們不表示自身，而是具備一些特殊含義，只能經過\轉義以後才表示自身。

這些字符包括：

. ^ $ * + ? { } [ ] \ | ( )

 

【.】

在默認模式中，匹配除換行外全部字符，若是指定了DOTALL標籤，則表示任意字符

import re

"""
re.findall(pattern, string, flags=0)
pattern: 匹配規則，字符串
string: 須要去匹配的字符串

從左到右進行掃描，匹配按找到的順序返回。若是樣式裏存在一個或多個組，就返回一個組合列表
"""

re.findall('ab.', 'abc') 
# Out[1]: ['abc']

re.findall('ab.', 'ab\n') 
# Out[2]: []

re.findall('ab.', 'ab\n', re.DOTALL)
# Out[3]: ['ab\n']

 

【^】

匹配字符串的開頭， 若是是MULTILINE模式，匹配每行開頭(\n以後)的首個符號。

在字符集中可表示'非'，[^a]表示除字符a以外的字符。

re.findall('^ab', 'abcda\nabddd')                                     
# Out[4]: ['ab']

re.findall('^ab', 'abcda\nabddd', re.MULTILINE)
# Out[5]: ['ab', 'ab']

re.findall('[^a]', 'aaa\nbbb')
# Out[6]: ['\n', 'b', 'b', 'b']

 

【$】

匹配字符串的末尾，或者在字符串末尾換行符的前一個字符。

在 MULTILINE 模式下匹配每行末尾(\n以前)的字符。

re.findall('ab$', 'abcdab\nabdab')                                   
# Out[7]: ['ab']

# 上面結果中的 ab 是 \n 前面的仍是後面的呢？進行以下測試，發現是後面的 ab 被匹配了
re.findall('ab.$', 'abcdab1\nabdab2')
# Out[8]: ['ab2']

# 在 MULTILINE 模式下，兩個都被匹配了
re.findall('ab$', 'abcdab\nabdab', re.MULTILINE)
# Out[9]: ['ab', 'ab']

# 而對 $ 在換行結尾的字符串中匹配時，會獲得兩個空字符，一個在換行符以前，一個在字符串的末尾
re.findall('$', 'abcdab1\n')
# Out[10]: ['', '']

 

【*】

匹配前一個規則0次或無限次

re.findall('ab*', 'a')
# Out[11]: ['a']

re.findall('ab*', 'ab')
# Out[12] ['ab']

re.findall('ab*', 'abbbbbbbbbbbbbb')
# Out[13] ['abbbbbbbbbbbbbb']

 

【+】

匹配前一個規則1次或無限次

re.findall('ab+', 'a')
# Out[14]: []

re.findall('ab+', 'ab')
# Out[15] ['ab']

re.findall('ab+', 'abbbbbbbbbbbbbb')
# Out[16] ['abbbbbbbbbbbbbb']

 

【?】

匹配前一個規則0次或1次

re.findall('ab?', 'a')
# Out[17]: ['a']

re.findall('ab?', 'ab')
# Out[18] ['ab']

re.findall('ab?', 'abbbbbbbbbbbbbb')
# Out[19] ['ab']

 

【.?,*?,??】

.,*,?修飾符都是貪婪的，會盡量的匹配更多的字符串

貪婪的我，固然是贊越多越好呀。

而在這些修飾符後面加上?，便成了非貪婪模式，會盡量少的匹配字符串

re.findall('<.*>', '<a>bcd>')
# Out[20] ['<a>bcd>']

re.findall('<.*?>', '<a>bcd>')
# Out[21] ['<a>']

 

{m}

指定前面的正則表達式出現的次數，出現次數必須徹底一致。

re.findall('a{3}', 'aa') 
# Out[22]: []

re.findall('a{3}', 'aaaaa')
# Out[23]: ['aaa']

 

{m, n}

指定前面的正則表達式出現的次數在m~n之間，儘量多的匹配，匹配的下界是m，上界是n。

若缺省m，下界爲0，若缺省n，爲不設上界，即無限次。

re.findall('a{3, 5}', 'aaaa') 
# Out[24]: []

# 3,5 之間不能添加空格
re.findall('a{3,5}', 'aaaa')
# Out[25]: ['aaaa']

re.findall('a{3,}', 'aaaa')
# Out[26]: ['aaaa']

re.findall('a{,5}', 'aaaa')
# Out[27] ['aaaa', '']

 

{m, n}?

• 即非貪婪模式，儘量少的匹配字符串。

re.findall('a{3,}?', 'aaaaa')
# Out[28] ['aaa']

 

【\】

• 轉義特殊字符。如'\.'只表示.，而再也不是表示任意字符。
• 匹配\字符須要轉義，用\\表示

re.findall('\.', 'aa')
# Out[29] []

re.findall('\.', 'aa.')
# Out[30] ['.']

 

反斜槓災難：反斜槓具備轉義做用，若是須要匹配的字符串中存在多個\，就須要調加相應數量的\來轉義

re.findall('\\\\ab', '\\abc') # ['\\ab']
"""
在反覆使用反斜槓的正則中，這會致使大量重複的反斜槓，
並使得生成的字符串難以理解。
解決方案:
  使用 Python 的原始字符串表示法來表示正則表達式；
  'r' 爲前綴的字符串，反斜槓再也不表示轉義
"""
re.findall(r'\\ab', '\\abc')  # ['\\ab']

re.findall(r'\n', '\n')       # ['\n']

 

[]

表示字符集集合。匹配該字符須要轉義\[,\]

# 一、單獨列出，匹配 a、b 或 c
re.findall('[abc]', 'ab.')
# Out[31]: ['a', 'b']

"""
二、字符範圍：
[a-j]: 表示小寫字母 a~j
[1-6]:表示數字 1~6
轉義: 如 [a\-z] 或者它的位置在首位或者末尾（[-a] 或 [a-]），它就只表示普通字符 '-'。
""" 
re.findall('[a\-z]', '-')
# Out[32]: ['-']

re.findall('[-a]', '-')
# Out[33]: ['-']

re.findall('[a-]', '-')
# Out[34]: ['-']

"""
三、特殊字符失去特殊含義
  好比 [(+*)] 只會匹配這幾個字符 '(', '+', '*', or ')'。
"""
re.findall('[(+*)]', '+-*/()')
# Out[35] ['+', '*', '(', ')']

"""
四、字符類
 可使用字符類：\w，\S 等，它們能夠匹配的字符由 ASCII 或者 LOCALE 模式決定。
"""
re.findall('[\w]', 'abfagg-/*-')
# Out[36] ['a', 'b', 'f', 'a', 'g', 'g']

"""
五、取反
若是集合首字符是 '^' ，全部不在集合內的字符將會被匹配
[^^] 將匹配全部字符，除了 '^'. 
^ 若是不在集合首位，就沒有特殊含義。
"""
# 非 \w 定義的字母
re.findall('[^\w]', 'abfagg-/*-')
# Out[37] ['-', '/', '*', '-']

"""
六、匹配字符 ']'
兩種方法
  加上反斜槓
  放到集合首位
"""
# 加上反斜槓
re.findall('\]', 'abc]')
# Out[38] [']']

# 放到集合首位
re.findall('[]{}]', ']abc')
# Out[39] [']']

 

【|】

或。A|B，匹配正則表達式A或B，A、B能夠是任何正則表達式。

若是A匹配成功，則不會再匹配B。

匹配|字符須要轉義，\|或[|]

re.findall('a|b', 'acb')
# Out[40] ['a', 'b']

re.findall('[|]', 'ab|c')
# Out[41] ['|']

 

(...)

小括號，能夠組合表達式，匹配括號內的組合表達式，並標註表達式的開始和結束位置，可用於後續捕獲

每對小括號表明一個組合，能夠經過\number的方式引用組合，\1表示第一個組合。

要匹配字符 ( 或者 ), 用 \( 或 \), 或者放在字符集合裏: [(], [)]。

re.findall('a(b+)', 'abbb')
# Out[42] ['bbb']
。
re.findall(r'(b)a\1', 'bab')
# Out[43] ['b']

 

總結