網絡爬蟲之第二章數據提取

時間  2019-12-14
標籤 網絡 爬蟲 第二 數據 提取 欄目 系統網絡 简体版
原文   原文鏈接

第二章 數據提取

第一節：XPath語法和lxml模塊

什麼是XPath？

xpath（XML Path Language）是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對元素和屬性進行遍歷。css

XPath開發工具

  1. Chrome插件XPath Helper。
  2. Firefox插件Try XPath。

XPath語法

選取節點：

XPath 使用路徑表達式來選取 XML 文檔中的節點或者節點集。這些路徑表達式和咱們在常規的電腦文件系統中看到的表達式很是類似。html

表達式 描述 示例 結果
nodename 選取此節點的全部子節點 bookstore 選取bookstore下全部的子節點
/ 若是是在最前面，表明從根節點選取。不然選擇某節點下的某個節點 /bookstore 選取根元素下全部的bookstore節點
// 從全局節點中選擇節點，隨便在哪一個位置 //book 從全局節點中找到全部的book節點
@ 選取某個節點的屬性 //book[@price] 選擇全部擁有price屬性的book節點
. 當前節點 ./a 選取當前節點下的a標籤

謂語：

謂語用來查找某個特定的節點或者包含某個指定的值的節點，被嵌在方括號中。
在下面的表格中，咱們列出了帶有謂語的一些路徑表達式，以及表達式的結果：前端

路徑表達式 描述
/bookstore/book[1] 選取bookstore下的第一個子元素
/bookstore/book[last()] 選取bookstore下的倒數第二個book元素。
bookstore/book[position()<3] 選取bookstore下前面兩個子元素。
//book[@price] 選取擁有price屬性的book元素
//book[@price=10] 選取全部屬性price等於10的book元素

通配符

*表示通配符。vue

通配符 描述 示例 結果
* 匹配任意節點 /bookstore/* 選取bookstore下的全部子元素。
@* 匹配節點中的任何屬性 //book[@*] 選取全部帶有屬性的book元素。

選取多個路徑：

經過在路徑表達式中使用「|」運算符，能夠選取若干個路徑。
示例以下：html5

//bookstore/book | //book/title
# 選取全部book元素以及book元素下全部的title元素

運算符：

運算符 描述 實例 返回值
| 計算兩個節點集 //book | //cd 返回全部擁有 book 和 cd 元素的節點數
+ 加法 6 + 4 10
- 減法 6 - 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等於 price=9.80 若是 price 是9.80 ， 則返回 true 。若是 price 是9.90 ， 則返回的是 false.
！= 不等於 price！=9.80 若是 price 是9.90 ， 則返回 true 。若是 price 是9.80 ， 則返回的是 false.
< 小於 price < 9.80 若是 price 是9.00 ， 則返回 true 。若是 price 是9.90 ， 則返回的是 false.
<= 小於等於 price <= 9.80 若是 price 是9.80 ， 則返回 true 。若是 price 是9.90 ， 則返回的是 false.
> 大於 price > 9.80 若是 price 是9.90 ， 則返回 true 。若是 price 是9.70 ， 則返回的是 false.
or 或 price=9.80 or price=9.70 若是 price 是9.80 ， 則返回 true 。若是 price 是9.50 ， 則返回的是 false.
and 與 price>9.80 and price<9.99 若是 price 是9.90 ， 則返回 true 。若是 price 是8.50 ， 則返回的是 false.
mod 計算除法的餘數 5 mod 2 1

 

lxml庫

lxml 是 一個HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數據。node

lxml和正則同樣，也是用 C 實現的，是一款高性能的 Python HTML/XML 解析器，咱們能夠利用以前學習的XPath語法，來快速的定位特定元素以及節點信息。python

lxml python 官方文檔：http://lxml.de/index.htmlweb

須要安裝C語言庫，可以使用 pip 安裝：pip install lxml正則表達式

基本使用：

咱們能夠利用他來解析HTML代碼，而且在解析HTML代碼的時候，若是HTML代碼不規範，他會自動的進行補全。示例代碼以下：chrome

# 使用 lxml 的 etree 庫
from lxml import etree 

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此處缺乏一個 </li> 閉合標籤
     </ul>
 </div>
'''

#利用etree.HTML，將字符串解析爲HTML文檔
html = etree.HTML(text) 

# 按字符串序列化HTML文檔
result = etree.tostring(html) 

print(result)

 

輸入結果以下：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

 

能夠看到。lxml會自動修改HTML代碼。例子中不只補全了li標籤，還添加了body，html標籤。

從文件中讀取html代碼：

除了直接使用字符串進行解析，lxml還支持從文件中讀取內容。咱們新建一個hello.html文件：

<!-- hello.html -->
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

 

而後利用etree.parse()方法來讀取文件。示例代碼以下：

from lxml import etree

# 讀取外部文件 hello.html
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)

print(result)

 

輸入結果和以前是相同的。

在lxml中使用XPath語法：

  1. 獲取全部li標籤：

     from lxml import etree

 html = etree.parse('hello.html')
 print type(html)  # 顯示etree.parse() 返回類型

 result = html.xpath('//li')

 print(result)  # 打印<li>標籤的元素集合

     

  2. 獲取全部li元素下的全部class屬性的值：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/@class')

 print(result)

     

  3. 獲取li標籤下href爲www.baidu.com的a標籤：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a[@href="www.baidu.com"]')

 print(result)

     

  4. 獲取li標籤下全部span標籤：

    from lxml import etree

 html = etree.parse('hello.html')

 #result = html.xpath('//li/span')
 #注意這麼寫是不對的：
 #由於 / 是用來獲取子元素的，而 <span> 並非 <li> 的子元素，因此，要用雙斜槓

 result = html.xpath('//li//span')

 print(result)

     

  5. 獲取li標籤下的a標籤裏的全部class：

    from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a//@class')

 print(result)

     

  6. 獲取最後一個li的a的href屬性對應的值：

    from lxml import etree

 html = etree.parse('hello.html')

 result = html.xpath('//li[last()]/a/@href')
 # 謂語 [last()] 能夠找到最後一個元素

 print(result)

     

  7. 獲取倒數第二個li元素的內容：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a')

 # text 方法能夠獲取元素內容
 print(result[0].text)

     

  8. 獲取倒數第二個li元素的內容的第二種方式：

    from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a/text()')

 print(result)

     

使用requests和xpath爬取電影天堂

示例代碼以下：

import requests
from lxml import etree

BASE_DOMAIN = 'http://www.dytt8.net'
HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
    'Referer': 'http://www.dytt8.net/html/gndy/dyzz/list_23_2.html'
}

def spider():
    url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'
    resp = requests.get(url,headers=HEADERS)
    # resp.content：通過編碼後的字符串
    # resp.text：沒有通過編碼，也就是unicode字符串
    # text：至關因而網頁中的源代碼了
    text = resp.content.decode('gbk')
    # tree：通過lxml解析後的一個對象，之後使用這個對象的xpath方法，就能夠
    # 提取一些想要的數據了
    tree = etree.HTML(text)
    # xpath/beautifulsou4
    all_a = tree.xpath("//div[@class='co_content8']//a")
    for a in all_a:
        title = a.xpath("text()")[0]
        href = a.xpath("@href")[0]
        if href.startswith('/'):
            detail_url = BASE_DOMAIN + href
            crawl_detail(detail_url)
            break

def crawl_detail(url):
    resp = requests.get(url,headers=HEADERS)
    text = resp.content.decode('gbk')
    tree = etree.HTML(text)
    create_time = tree.xpath("//div[@class='co_content8']/ul/text()")[0].strip()
    imgs = tree.xpath("//div[@id='Zoom']//img/@src")
    # 電影海報
    cover = imgs[0]
    # 電影截圖
    screenshoot = imgs[1]
    # 獲取span標籤下全部的文本
    infos = tree.xpath("//div[@id='Zoom']//text()")
    for index,info in enumerate(infos):
        if info.startswith("◎年　　代"):
            year = info.replace("◎年　　代","").strip()

        if info.startswith("◎豆瓣評分"):
            douban_rating = info.replace("◎豆瓣評分",'').strip()
            print(douban_rating)

        if info.startswith("◎主　　演"):
            # 從當前位置，一直往下面遍歷
            actors = [info]
            for x in range(index+1,len(infos)):
                actor = infos[x]
                if actor.startswith("◎"):
                    break
                actors.append(actor.strip())
            print(",".join(actors))


if __name__ == '__main__':
    spider()

chrome相關問題：

在62版本（目前最新）中有一個bug，在頁面302重定向的時候不能記錄FormData數據。這個是這個版本的一個bug。詳細見如下連接：https://stackoverflow.com/questions/34015735/http-post-payload-not-visible-in-chrome-debugger。

在金絲雀版本中已經解決了這個問題，能夠下載這個版本繼續，連接以下：https://www.google.com/chrome/browser/canary.html

 

第二節：BeautifulSoup4庫

 

和 lxml 同樣，Beautiful Soup 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數據。
lxml 只會局部遍歷，而Beautiful Soup 是基於HTML DOM（Document Object Model）的，會載入整個文檔，解析整個DOM樹，所以時間和內存開銷都會大不少，因此性能要低於lxml。
BeautifulSoup 用來解析 HTML 比較簡單，API很是人性化，支持CSS選擇器、Python標準庫中的HTML解析器，也支持 lxml 的 XML解析器。
Beautiful Soup 3 目前已經中止開發，推薦如今的項目使用Beautiful Soup 4。

安裝和文檔：

  1. 安裝：pip install bs4。
  2. 中文文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

幾大解析工具對比：

解析工具 解析速度 使用難度
BeautifulSoup 最慢 最簡單
lxml 快 簡單
正則 最快 最難

 

解析器

 

Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，若是咱們不安裝它，則 Python 會使用 Python默認的解析器，lxml 解析器更增強大，速度更快，推薦安裝。

 

下面是常看法析器：

 

 

推薦使用lxml做爲解析器,由於效率更高. 在Python2.7.3以前的版本和Python3中3.2.2以前的版本,必須安裝lxml或html5lib, 由於那些Python版本的標準庫中內置的HTML解析方法不夠穩定.

 

簡單使用：

from bs4 import BeautifulSoup

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

#建立 Beautiful Soup 對象
# 使用lxml來進行解析
soup = BeautifulSoup(html,"lxml")

print(soup.prettify())

 

四個經常使用的對象：

Beautiful Soup將複雜HTML文檔轉換成一個複雜的樹形結構,每一個節點都是Python對象,全部對象能夠概括爲4種:

  1. Tag
  2. NavigatableString
  3. BeautifulSoup
  4. Comment

1. Tag：

Tag 通俗點講就是 HTML 中的一個個標籤。示例代碼以下：

from bs4 import BeautifulSoup

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

#建立 Beautiful Soup 對象
soup = BeautifulSoup(html,'lxml')


print soup.title
# <title>The Dormouse's story</title>

print soup.head
# <head><title>The Dormouse's story</title></head>

print soup.a
# <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>

print soup.p
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>

print type(soup.p)
# <class 'bs4.element.Tag'>

 

咱們能夠利用 soup 加標籤名輕鬆地獲取這些標籤的內容，這些對象的類型是bs4.element.Tag。可是注意，它查找的是在全部內容中的第一個符合要求的標籤。若是要查詢全部的標籤，後面會進行介紹。
對於Tag，它有兩個重要的屬性，分別是name和attrs。示例代碼以下：

print soup.name
# [document] #soup 對象自己比較特殊，它的 name 即爲 [document]

print soup.head.name
# head #對於其餘內部標籤，輸出的值便爲標籤自己的名稱

print soup.p.attrs
# {'class': ['title'], 'name': 'dromouse'}
# 在這裏，咱們把 p 標籤的全部屬性打印輸出了出來，獲得的類型是一個字典。

print soup.p['class'] # soup.p.get('class')
# ['title'] #還能夠利用get方法，傳入屬性的名稱，兩者是等價的

soup.p['class'] = "newClass"
print soup.p # 能夠對這些屬性和內容等等進行修改
# <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>

 

2. NavigableString：

若是拿到標籤後，還想獲取標籤中的內容。那麼能夠經過tag.string獲取標籤中的文字。示例代碼以下：

print soup.p.string
# The Dormouse's story

print type(soup.p.string)
# <class 'bs4.element.NavigableString'>thon

 

3. BeautifulSoup：

BeautifulSoup 對象表示的是一個文檔的所有內容.大部分時候,能夠把它看成 Tag 對象,它支持 遍歷文檔樹 和 搜索文檔樹 中描述的大部分的方法.
由於 BeautifulSoup 對象並非真正的HTML或XML的tag,因此它沒有name和attribute屬性.但有時查看它的 .name 屬性是很方便的,因此 BeautifulSoup 對象包含了一個值爲 「[document]」 的特殊屬性 .name

soup.name
# '[document]'

 

4. Comment：

Tag , NavigableString , BeautifulSoup 幾乎覆蓋了html和xml中的全部內容,可是還有一些特殊對象.容易讓人擔憂的內容是文檔的註釋部分:

markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>

 

Comment 對象是一個特殊類型的 NavigableString 對象:

comment
# 'Hey, buddy. Want to buy a used parser'

 

遍歷文檔樹：

1. contents和children：

html_doc = """
<html><head><title>The Dormouse's story</title></head>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'lxml')

head_tag = soup.head
# 返回全部子節點的列表
print(head_tag.contents)

# 返回全部子節點的迭代器
for child in head_tag.children:
    print(child)

 

2. strings 和 stripped_strings

若是tag中包含多個字符串 [2] ,可使用 .strings 來循環獲取：

for string in soup.strings:
    print(repr(string))
    # u"The Dormouse's story"
    # u'\n\n'
    # u"The Dormouse's story"
    # u'\n\n'
    # u'Once upon a time there were three little sisters; and their names were\n'
    # u'Elsie'
    # u',\n'
    # u'Lacie'
    # u' and\n'
    # u'Tillie'
    # u';\nand they lived at the bottom of a well.'
    # u'\n\n'
    # u'...'
    # u'\n'

 

輸出的字符串中可能包含了不少空格或空行,使用 .stripped_strings 能夠去除多餘空白內容：

for string in soup.stripped_strings:
    print(repr(string))
    # u"The Dormouse's story"
    # u"The Dormouse's story"
    # u'Once upon a time there were three little sisters; and their names were'
    # u'Elsie'
    # u','
    # u'Lacie'
    # u'and'
    # u'Tillie'
    # u';\nand they lived at the bottom of a well.'
    # u'...'

 

搜索文檔樹：

1. find和find_all方法：

搜索文檔樹，通常用得比較多的就是兩個方法，一個是find，一個是find_all。find方法是找到第一個知足條件的標籤後就當即返回，只返回一個元素。find_all方法是把全部知足條件的標籤都選到，而後返回回去。使用這兩個方法，最經常使用的用法是出入name以及attr參數找出符合要求的標籤。

soup.find_all("a",attrs={"id":"link2"})

 

或者是直接傳入屬性的的名字做爲關鍵字參數：

soup.find_all("a",id='link2')

 

2. select方法：

使用以上方法能夠方便的找出元素。但有時候使用css選擇器的方式能夠更加的方便。使用css選擇器的語法，應該使用select方法。如下列出幾種經常使用的css選擇器方法：

（1）經過標籤名查找：

print(soup.select('a'))

 

（2）經過類名查找：

經過類名，則應該在類的前面加一個.。好比要查找class=sister的標籤。示例代碼以下：

print(soup.select('.sister'))

 

（3）經過id查找：

經過id查找，應該在id的名字前面加一個＃號。示例代碼以下：

print(soup.select("#link1"))

 

（4）組合查找：

組合查找即和寫 class 文件時，標籤名與類名、id名進行的組合原理是同樣的，例如查找 p 標籤中，id 等於 link1的內容，兩者須要用空格分開：

print(soup.select("p #link1"))

 

直接子標籤查找，則使用 > 分隔：

print(soup.select("head > title"))

 

（5）經過屬性查找：

查找時還能夠加入屬性元素，屬性須要用中括號括起來，注意屬性和標籤屬於同一節點，因此中間不能加空格，不然會沒法匹配到。示例代碼以下：

print(soup.select('a[href="http://example.com/elsie"]'))

 

（6）獲取內容

以上的 select 方法返回的結果都是列表形式，能夠遍歷形式輸出，而後用 get_text() 方法來獲取它的內容。

soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()

for title in soup.select('title'):
    print title.get_text()

 

 

第三節：正則表達式和re模塊：

 

什麼是正則表達式：

通俗理解：按照必定的規則，從某個字符串中匹配出想要的數據。這個規則就是正則表達式。
標準答案：https://baike.baidu.com/item/正則表達式/1700215?fr=aladdin

一個段子：

世界是分爲兩種人，一種是懂正則表達式的，一種是不懂正則表達式的。

正則表達式經常使用匹配規則：

匹配某個字符串：

text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he

 

以上即可以在hello中，匹配出he。

點（.）匹配任意的字符：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

 

可是點（.）不能匹配不到換行符。示例代碼以下：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

 

\d匹配任意的數字：

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

 

\D匹配任意的非數字：

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

 

而若是text是等於一個數字，那麼就匹配不成功了。示例代碼以下：

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

 

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

 

\w匹配的是a-z和A-Z以及數字和下劃線：

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

 

而若是要匹配一個其餘的字符，那麼就匹配不到。示例代碼以下：

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

 

\W匹配的是和\w相反的：

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

 

而若是你的text是一個下劃線或者英文字符，那麼就匹配不到了。示例代碼以下：

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

 

[]組合的方式，只要知足中括號中的某一項都算匹配成功：

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

 

以前講到的幾種匹配規則，其實可使用中括號的形式來進行替代：

  • \d：[0-9]
  • \D：0-9
  • \w：[0-9a-zA-Z_]
  • \W：[^0-9a-zA-Z_]

匹配多個字符：

  1. *：能夠匹配0或者任意多個字符。示例代碼以下：

     text = "0731"
 ret = re.match('\d*',text)
 print(ret.group())
 >> 0731

     

    以上由於匹配的要求是\d，那麼就要求是數字，後面跟了一個星號，就能夠匹配到0731這四個字符。

  2. +：能夠匹配1個或者多個字符。最少一個。示例代碼以下：

    text = "abc"
 ret = re.match('\w+',text)
 print(ret.group())
 >> abc

     

    由於匹配的是\w，那麼就要求是英文字符，後面跟了一個加號，意味着最少要有一個知足\w的字符纔可以匹配到。若是text是一個空白字符或者是一個不知足\w的字符，那麼就會報錯。示例代碼以下：

    text = ""
 ret = re.match('\w+',text)
 print(ret.group())
 >> AttributeError: 'NoneType' object has no attribute

     

  3. ?：匹配的字符能夠出現一次或者不出現（0或者1）。示例代碼以下：

     text = "123"
 ret = re.match('\d?',text)
 print(ret.group())
 >> 1

     

  4. {m}：匹配m個字符。示例代碼以下：

    text = "123"
 ret = re.match('\d{2}',text)
 print(ret.group())
 >> 12

     

  5. {m,n}：匹配m-n個字符。在這中間的字符均可以匹配到。示例代碼以下：

     text = "123"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())
 >> 12

     

    若是text只有一個字符，那麼也能夠匹配出來。示例代碼以下：

     text = "1"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())
 >> 1

     

小案例：

  1. 驗證手機號碼：手機號碼的規則是以1開頭，第二位能夠是34587，後面那9位就能夠隨意了。示例代碼以下：

     text = "18570631587"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> 18570631587

     

    而若是是個不知足條件的手機號碼。那麼就匹配不到了。示例代碼以下：

     text = "1857063158"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())
 >> AttributeError: 'NoneType' object has no attribute

     

  2. 驗證郵箱：郵箱的規則是郵箱名稱是用數字、數字、下劃線組成的，而後是@符號，後面就是域名了。示例代碼以下：

     text = "hynever@163.com"
 ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
 print(ret.group())

     

  3. 驗證URL：URL的規則是前面是http或者https或者是ftp而後再加上一個冒號，再加上一個斜槓，再後面就是能夠出現任意非空白字符了。示例代碼以下：

    text = "http://www.baidu.com/"
 ret = re.match('(http|https|ftp)://[^\s]+',text)
 print(ret.group())

     

  4. 驗證身份證：身份證的規則是，總共有18位，前面17位都是數字，後面一位能夠是數字，也能夠是小寫的x，也能夠是大寫的X。示例代碼以下：

     text = "3113111890812323X"
 ret = re.match('\d{17}[\dxX]',text)
 print(ret.group())

     

^（脫字號）：表示以...開始：

text = "hello"
ret = re.match('^h',text)
print(ret.group())

 

若是是在中括號中，那麼表明的是取反操做.

$：表示以...結束：

# 匹配163.com的郵箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

 

|：匹配多個表達式或者字符串：

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

 

貪婪模式和非貪婪模式：

貪婪模式：正則表達式會匹配儘可能多的字符。默認是貪婪模式。
非貪婪模式：正則表達式會盡可能少的匹配字符。
示例代碼以下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 由於默認採用貪婪模式，因此會輸出0123456
>> 0123456

 

能夠改爲非貪婪模式，那麼就只會匹配到0。示例代碼以下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

 

案例：匹配0-100之間的數字：

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99

 

而若是text=101，那麼就會拋出一個異常。示例代碼以下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

 

轉義字符和原生字符串：

在正則表達式中，有些字符是有特殊意義的字符。所以若是想要匹配這些字符，那麼就必須使用反斜槓進行轉義。好比$表明的是以...結尾，若是想要匹配$，那麼就必須使用\$。示例代碼以下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

 

原生字符串：
在正則表達式中，\是專門用來作轉義的。在Python中\也是用來作轉義的。所以若是想要在普通的字符串中匹配出\，那麼要給出四個\。示例代碼以下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

 

所以要使用原生字符串就能夠解決這個問題：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

 

re模塊中經常使用函數：

match：

從開始的位置進行匹配。若是開始的位置沒有匹配到。就直接失敗了。示例代碼以下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

 

若是第一個字母不是h，那麼就會失敗。示例代碼以下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

 

若是想要匹配換行的數據，那麼就要傳入一個flag=re.DOTALL，就能夠匹配換行符了。示例代碼以下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

 

search：

在字符串中找知足條件的字符。若是找到，就返回。說白了，就是隻會找到第一個知足條件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

 

分組：

在正則表達式中，能夠對過濾到的字符串進行分組。分組使用圓括號的方式。

  1. group：和group(0)是等價的，返回的是整個知足條件的字符串。
  2. groups：返回的是裏面的子組。索引從1開始。
  3. group(1)：返回的是第一個子組，能夠傳入多個。
    示例代碼以下：
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

 

findall：

找出全部知足條件的，返回的是一個列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

 

sub：

用來替換字符串。將匹配到的字符串替換爲其餘字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

 

sub函數的案例，獲取拉勾網中的數據：

html = """
<div>
<p>基本要求：</p>
<p>一、精通HTML五、CSS三、 JavaScript等Web前端開發技術，對html5頁面適配充分了解，熟悉不一樣瀏覽器間的差別，熟練寫出兼容各類瀏覽器的代碼；</p>
<p>二、熟悉運用常見JS開發框架，如JQuery、vue、angular，能快速高效實現各類交互效果；</p>
<p>三、熟悉編寫可以自動適應HTML5界面，能讓網頁格式自動適應各款各大小的手機；</p>
<p>四、利用HTML5相關技術開發移動平臺、PC終端的前端頁面，實現HTML5模板化；</p>
<p>五、熟悉手機端和PC端web實現的差別，有移動平臺web前端開發經驗，瞭解移動互聯網產品和行業，有在Android,iOS等平臺下HTML5+CSS+JavaScript（或移動JS框架）開發經驗者優先考慮；
<p>六、良好的溝通能力和團隊協做精神，對移動互聯網行業有濃厚興趣，有較強的研究能力和學習能力；</p>
<p>七、可以承擔公司前端培訓工做，對公司各業務線的前端（HTML5\CSS3）工做進行支撐和指導。</p>
<p><br></p>
<p>崗位職責：</p>
<p>一、利用html5及相關技術開發移動平臺、微信、APP等前端頁面，各種交互的實現；</p>
<p>二、持續的優化前端體驗和頁面響應速度，並保證兼容性和執行效率；</p>
<p>三、根據產品需求，分析並給出最優的頁面前端結構解決方案；</p>
<p>四、協助後臺及客戶端開發人員完成功能開發和調試；</p>
<p>五、移動端主流瀏覽器的適配、移動端界面自適應研發。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

 

split：

使用正則表達式來分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

 

compile：

對於一些常常要用到的正則表達式，可使用compile進行編譯，後期再使用的時候能夠直接拿過來用，執行效率會更快。並且compile還能夠指定flag=re.VERBOSE，在寫正則表達式的時候能夠作好註釋。示例代碼以下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小數點前面的數字
                \.? # 小數點
                \d* # 小數點後面的數字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程