Python：解析PDF文本及表格——pdfminer、tabula、pdfplumber 的用法及對比

時間 2019-11-29

標籤 python 解析 pdf 文本表格 pdfminer tabula pdfplumber 用法對比欄目 Python 简体版

原文原文鏈接

PDF 是個異常坑爹的東西，有不少處理 PDF 的庫，可是沒有完美的。java

1、pdfminer3k

pdfminer3k 是 pdfminer 的 python3 版本，主要用於讀取 PDF 中的文本。python

網上有不少 pdfminer3k 的代碼示例，看過之後，只想吐槽一下，太複雜了，有違 python 的簡潔。數組

from pdfminer.pdfparser import PDFParser, PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LAParams, LTTextBox
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed

path = "test.pdf"

# 用文件對象來建立一個pdf文檔分析器
praser = PDFParser(open(path, 'rb'))
# 建立一個PDF文檔
doc = PDFDocument()
# 鏈接分析器 與文檔對象
praser.set_document(doc)
doc.set_parser(praser)

# 提供初始化密碼
# 若是沒有密碼 就建立一個空的字符串
doc.initialize()

# 檢測文檔是否提供txt轉換，不提供就忽略
if not doc.is_extractable:
    raise PDFTextExtractionNotAllowed
else:
    # 建立PDf 資源管理器 來管理共享資源
    rsrcmgr = PDFResourceManager()
    # 建立一個PDF設備對象
    laparams = LAParams()
    device = PDFPageAggregator(rsrcmgr, laparams=laparams)
    # 建立一個PDF解釋器對象
    interpreter = PDFPageInterpreter(rsrcmgr, device)

    # 循環遍歷列表，每次處理一個page的內容
    for page in doc.get_pages():
        interpreter.process_page(page)                        
        # 接受該頁面的LTPage對象
        layout = device.get_result()
        # 這裏layout是一個LTPage對象，裏面存放着這個 page 解析出的各類對象
        # 包括 LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等 
        for x in layout:
            if isinstance(x, LTTextBox):
                print(x.get_text().strip())
複製代碼

pdfminer 對於表格的處理很是的不友好，能提取出文字，可是沒有格式：app

PDF 表格截圖：工具

代碼運行結果：spa

想把這個結果還原成表格可不容易，加的規則太多必然致使通用性的降低。code

2、tabula-py

tabula 是專門用來提取 PDF 表格數據的，同時支持 PDF 導出爲 CSV、Excel 格式，可是這工具是用 java 寫的，依賴 java7/8。tabula-py 就是對它作了一層 Python 的封裝，因此也依賴 java7/8。cdn

代碼很簡單：對象

import tabula

path = 'test.pdf'

df = tabula.read_pdf(path, encoding='gbk', pages='all')
for indexs in df.index:
    print(df.loc[indexs].values)

# tabula.convert_into(path, os.path.splitext(path)[0]+'.csv', pages='all')
複製代碼

雖然號稱是專業處理 PDF 中的表格的，但實際效果也不咋地。仍是 pdfminer 中使用的 PDF，運行結果以下：blog

這結果然的很尷尬啊，表頭識別就錯了，還有 PDF 中有兩張表，我沒發現怎麼區分表。

3、pdfplumber

pdfplumber 是按頁來處理 PDF 的，能夠得到頁面的全部文字，而且提供的單獨的方法用於提取表格。

import pdfplumber

path = 'test.pdf'
pdf = pdfplumber.open(path)

for page in pdf.pages:
    # 獲取當前頁面的所有文本信息，包括表格中的文字
    # print(page.extract_text()) 

    for table in page.extract_tables():
        # print(table)
        for row in table:
            print(row)
        print('---------- 分割線 ----------')

pdf.close()
複製代碼

獲得的 table 是個 string 類型的二維數組，這裏爲了跟 tabula 比較，按行輸出顯示。

能夠看到，跟 tabula 相比，首先是能夠區分表格，其次，準確率也提升了不少，表頭的識別徹底正確。對於表格中有換行的，識別還不是很正確，但至少列的劃分沒問題，因此仍是能處理的。

import pdfplumber
import re

path = 'test1.pdf'
pdf = pdfplumber.open(path)

for page in pdf.pages:
    print(page.extract_text())
    for pdf_table in page.extract_tables():
        table = []
        cells = []
        for row in pdf_table:
            if not any(row):
                # 若是一行全爲空，則視爲一條記錄結束
                if any(cells):
                    table.append(cells)
                    cells = []
            elif all(row):
                # 若是一行全不爲空，則本條爲新行，上一條結束
                if any(cells):
                    table.append(cells)
                    cells = []
                table.append(row)
            else:
                if len(cells) == 0:
                    cells = row
                else:
                    for i in range(len(row)):
                        if row[i] is not None:
                            cells[i] = row[i] if cells[i] is None else cells[i] + row[i]
        for row in table:
            print([re.sub('\s+', '', cell) if cell is not None else None for cell in row])
        print('---------- 分割線 ----------')

pdf.close()
複製代碼