基於newspaper、bs四、正則表達式的通用文章抽取模塊

爬蟲系統裏，有一個重要模塊，就是內容抽取。最簡單的辦法，能夠爲每個網站配置模板，好比字符串先後綴匹配，正則表達式，或者xpath或css。本文重點關注是資訊類的正文頁內容抽取。

抽取的內容包括：標題，正文，發佈時間

由於這三個部分都比較有特色，沒必要要爲每一個網站都配置一個模板，即耗時還須要維護規則。咱們創建一個容錯性較好的通用抽取模塊。

首先介紹一個組件：newspaper。直接pip install newspaper3k便可。

使用也比較簡單，把html文本串傳進去，調用parse便可。

art = Article('', language='zh')
art.set_html(html)
art.parse()

抽取獲得的結果在art.text和art.title裏。它是基於統計文本塊的機器學習方法，對於正文頁抽取結果仍是不錯的。

content = art.text.strip()
title = art.title.strip()

考慮到可能的抽取失敗，咱們作下title的容錯，用bs4裏的解析器，網頁title字段是確定存在的，只不過，大部分網站都會帶一個尾巴：

soup = BeautifulSoup(html, 'lxml')
#作title的容錯
if title == '':
    title = soup.title.get_text().strip()

#過濾標題裏的尾巴
def filte_title(title):
    chars = ['_','-',' ']
    for char in chars:
        if title.find(char) > -1:
            title = title[0:title.rindex(char)]
            return title
    return title

日期的規則大部分網站都是肯定的，這裏選用正則表達式很合適：

def extra_datetime(string):
    pattern = re.compile(r'(19|20)[\d]{2}(年|-|.)[\d]{2}(月-|.)[\d]{2} [\d]{2}:[\d]{2}(:[\d]{2})?')
    # 使用Pattern匹配文本，得到匹配結果，沒法匹配時將返回None
    match = pattern.search(string)
    if match:
        # 使用Match得到分組信息
        return match.group()

而後咱們把抽取到的時間字符串轉爲datetime格式：

def convert_dt(string):
    pattern = re.compile(r'(?P<year>(19|20)[\d]{2})(年|-|.)(?P<month>[\d]{2})(月-|.)(?P<day>[\d]{2}) (?P<hour>[\d]{2}):(?P<min>[\d]{2})(:[\d]{2})?')
    match = pattern.match(string)
    if match:
        date_dict = match.groupdict()
        print(date_dict)
        dt = datetime(int(date_dict['year']),int(date_dict['month']),int(date_dict['day']),hour=int(date_dict['hour']),minute=int(date_dict['min']))
        return dt

這個補充一個requests的問題：

import requests
from bs4 import BeautifulSoup
def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31'}
    r = requests.get(url,headers=headers)
    if r.encoding == 'ISO-8859-1':
        r.encoding = "utf-8"
    return r.text

注意以下這兩行：

if r.encoding == 'ISO-8859-1':
        r.encoding = "utf-8"

若是編碼識別成了ISO-88590-1，大機率是識別錯的，把編碼手動置爲正確的便可，不然會出現亂碼。

關於做者：魏佳斌，互聯網產品/技術總監，北京大學光華管理學院（MBA）,特許金融分析師（CFA），資深產品經理/碼農。偏心python，深度關注互聯網趨勢，人工智能，AI金融量化。致力於使用最前沿的認知技術去理解這個複雜的世界。

掃描下方二維碼，關注：AI量化實驗室（ailabx），瞭解AI量化最前沿技術、資訊。