用python + openpyxl處理excel(07+)文檔 + 一些中文處理的技巧

尋覓工具

肯定任務以後第一步就是找個趁手的庫來幹活。 Python Excel上列出了xlrd、xlwt、xlutils這幾個包，可是

1. 它們都比較老，xlwt甚至不支持07版之後的excel

2. 它們的文檔不太友好，均可能須要去讀源代碼，而老姐的任務比較緊，加上我當時在期末，沒有這個時間細讀源代碼

再一番搜索後我找到了openpyxl，支持07+的excel，一直有人在維護，文檔清晰易讀，參照Tutorial和API文檔很快就能上手，就是它了~

安裝

這個很容易，直接pip install openpyxl，呵呵呵~

由於我不須要處理圖片，就沒有裝pillow。

一些考慮

1. 源文件大約一個在1~2MB左右，比較小，因此能夠直接讀入內存處理。

2. 既然是處理excel，況且他們整個組顯然都是win下幹活（數據都用excel存了= =，商科的人啊……），這個腳本仍是在win下作吧

3. 這個任務徹底不須要我對現有的文件作修改！囧……我只要讀入、處理、再寫出另外一個文件就好了

學習使用

嗯，就是打開cmd，而後用python的shell各類玩這個模塊來上手……（win下沒有裝ipython，囧）

作這個小腳本基本上我只須要import兩個東西

from openpyxl import Workbookfrom openpyxl import load_workbook

load_workbook顧名思義是把文件導入到內存，Workbook是最基本的一個類，用來在內存裏建立文件最後寫進磁盤的。

幹活

首先我須要導入這個文件

inwb = load_workbook(filename)

獲得的就是一個workbook對象

而後我須要建立一個新的文件

outwb = Workbook()

接着在這個新文件裏，用create_sheet新建幾個工做表，好比

careerSheet = outwb.create_sheet(0, 'career')

就會從頭部插入一個叫career的工做表（也就是說用法相似python list的insert）

接下來我須要遍歷輸入文件的每一個工做表，而且按照表名作一些工做（e.g.若是表名不是數字，我不須要處理），openpyxl支持用字典同樣的方式經過表名獲取工做表，獲取一個工做簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():    if not sheetName.isdigit():        continue
    sheet = inwb[sheetName]

獲得工做表以後，就是按列和行處理了。openpyxl會根據工做表裏實際有數據的區域來肯定行數和列數，獲取行和列的方法是sheet.rows和sheet.columns，它們均可以像list同樣用。好比，若是我想跳過數據少於2列的表，能夠寫

if len(sheet.columns) < 2:    continue

若是我想獲取這個工做表的前兩列，能夠寫

colA, colB = sheet.columns[:2]

除了用columns和rows來獲得這個工做表的行列以外，還能夠用excel的單元格編碼來獲取一個區域，好比

cells = sheet['A1':'B20']

有點像excel本身的函數，能夠拉出一塊二維的區域~

爲了方便處理，遇到一個沒有C列的工做表，我要建立一個和A列等長的空的C列出來，那麼我能夠用sheet.cell這個方法，經過傳入單元格編號和添加空值來建立新列。

alen = len(colA)for i in range(1, alen + 1):
    sheet.cell('C%s' % (i)).value = None

注意：excel的單元格命名是從1開始的~

上面的代碼也顯示出來了，獲取單元格的值是用cell.value（能夠是左值也能夠是右值），它的類型能夠是字符串、浮點數、整數、或者時間（datetime.datetime），excel文件裏也會生成對應類型的數據。

獲得每一個單元格的值以後，就能夠進行操做了~openpyxl會自 動將字符串用unicode編碼，因此字符串都是unicode類型的。

除了逐個逐個單元格用cell.value修改值之外，還能夠一行行append到工做表裏

sheet.append(strA, dateB, numC)

 最後，等新的文件寫好，直接用workbook.save保存就行

outwb.save("test.xlsx")

這個會覆蓋當前已有的文件，甚至你以前讀取到內存的那個文件。

一些要注意的地方

• 若是要在遍歷一列的每一個單元格的時候獲取當前單元格的在這個column對象裏的下標

  for idx, cell in enumerate(colA):    # do something...

• 爲了防止獲取的數據兩端有看不見的空格（excel文件裏很常見的坑），記得strip()

• 若是工做表裏的單元格沒有數據，openpyxl會讓它的值爲None，因此若是要基於單元格的值作處理，不能預先假定它的類型，最好用

  if not cell.value    continue

  之類的語句來先行判斷

• 若是要處理的excel文件裏有不少noise，好比當你預期一個單元格是時間的時候，有些表的數據多是字符串，這時候能夠用

  if isinstance(cell.value, unicode):    break

  之類的語句處理。

• win下的cmd彷佛不太好設定用utf-8的code page，若是是簡體中文的話能夠用936（GBK），print的時候會自動從unicode轉換到GBK輸出到終端。

 

一些幫忙處理中文問題的小函數

我處理的表有一些超出GBK範圍的字符，當我須要把一些信息print出來監控處理進度的時候很是麻煩，好在它們都是能夠無視的，我直接用空格替換再print也行，因此加上一些我原本就要替換掉的分隔符，我能夠：

# annoying seperatorsdot = u'\u00b7'dash = u'\u2014'emph = u'\u2022'dot2 = u'\u2027'seps = (u'.', dot, dash, emph, dot2)def get_clean_ch_string(chstring):    """Remove annoying seperators from the Chinese string.

    Usage:
        cleanstring = get_clean_ch_string(chstring)    """
    cleanstring = chstring    for sep in seps:
        cleanstring = cleanstring.replace(sep, u' ')    return cleanstring

 

此外我還有一個需求，是把英文名[空格]中文名分紅英文姓、英文名、中文姓、中文名。

首先我須要能把英文和中文分割開，個人辦法是用正則匹配，按照常見中英文字符在unicode的範圍來套。匹配英文和中文的正則pattern以下：

# regex pattern matching all ascii charactersasciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))# regex pattern matching all common Chinese characters and seporatorschinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的範圍替代，常見中文字符的範圍是\u4e00-\u9fff，那個seps是前面提到過的超出GBK範圍的一些字符。 除了簡單的分割，我還須要處理只有中文名沒有英文名、只有英文名沒有中文名等狀況，判斷邏輯以下：

def split_name(name):    """Split [English name, Chinese name].

        If one of them is missing, None will be returned instead.
    Usage:
        engName, chName = split_name(name)    """
    matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)    if matches:  # English name + Chinese name
        return matches.group(1).strip(), matches.group(2).strip()    else:
        matches = re.findall('(%s)' % (chinesePattern), name)
        matches = ''.join(matches).strip()        if matches:  # Chinese name only
            return None, matches        else:  # English name only
            matches = re.findall('(%s)' % (asciiPattern), name)            return ''.join(matches).strip(), None

 

獲得了中文名以後，我須要分割成姓和名，由於任務要求不須要把姓名分割得很明確，我就按照常見的中文名姓名分割方式來分——兩個字or三個字的第一個字是姓，四個字的前兩個字是姓，名字帶分隔符的（少數民族名字）分隔符前是姓（這裏用到了前面的get_clean_ch_string函數來移除分隔符），名字再長一些又不帶分割符的，假設整個字符串都是名字。（注意英語的first name 指的是名，last name指的是姓，2333）

def split_ch_name(chName):    """Split the Chinese name into first name and last name.

        * If the name is XY or XYZ, X will be returned as the last name.
        * If the name is WXYZ, WX will be returned as the last name.
        * If the name is ...WXYZ, the whole name will be returned
          as the last name.
        * If the name is ..ABC * XYZ..., the part before the seperator
          will be returned as the last name.
    Usage:
        chFirstName, chLastName = split_ch_name(chName)    """
    if len(chName) < 4:  # XY or XYZ
        chLastName = chName[0]
        chFirstName = chName[1:]    elif len(chName) == 4:  # WXYZ
        chLastName = chName[:2]
        chFirstName = chName[2:]    else:  # longer
        cleanName = get_clean_ch_string(chName)
        nameParts = cleanName.split()        print u' '.join(nameParts)        if len(nameParts) < 2:  # ...WXYZ
            return None, nameParts[0]
        chLastName, chFirstName = nameParts[:2]  # ..ABC * XYZ...
    return chFirstName, chLastName