使用pandas讀取表格數據並進行單行數據拼接

業務需求

一個幾十萬條數據的Excel表格，如今須要拼接其中某一列的所有數據爲一個字符串，例以下面簡短的幾行表格數據：

id	code	price	num
11	22	33	44
22	33	44	55
33	44	55	66
44	55	66	77
55	66	77	88
66	77	88	99

如今須要將code的這一列用逗號,拼接爲字符串，而且每一個單元格數據都用單引號包含，須要拼接成字符串'22','33','44','55','66','77'，這樣的狀況，咱們須要怎麼處理呢？固然方式有不少……

多行文本批量處理

有的時候，咱們會遇到須要同時處理多行文本的狀況，不少文本編輯器都支持批量操做多行文本，這裏我主要說一下Sublime Text，下面是操做的快捷鍵，有須要的能夠嘗試用一下，確實挺方便的。

1. 選中須要操做的多行，按下Ctr+Shift+L便可同時編輯這些行
2. 鼠標選中文本，反覆按CTRL+D便可繼續向下同時選中下一個相同的文本進行同時編輯
3. 鼠標選中文本，按下Alt+F3便可一次性選擇所有的相同文本進行同時編輯

如何節省效率

在工做中，可能會存在一些表格數據處理的狀況，好比運營給你一個表格，表格裏有相似：訂單號呀、產品ID啊、商品SKU等，須要你協助導出這些數據裏的明細數據以便他們作分析用，一兩次，咱們能夠快速用上面的方式處理，可是這種方式對於大文本的處理可能會存在卡頓的狀況，操做效率較低，若是小文本的話，那麼仍是很方便的。

若是屢次遇到這種狀況，是否想要作成一個工具來快速處理呢，也就是，這種批量拼接一樣格式的數據，咱們能夠寫一個小工具來實現，即快速又省事，能夠大大減小重複的工做消耗。

pandas讀取表格數據並處理

這咱們使用Python的pandas模塊來讀取表格指定某列的數據，再按照咱們的拼接格式進行循環處理，最終把拼接的字符串寫入文本文件中，方便保留和使用拼接的數據。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循環處理數據
print_msg('已獲取列數據條數[' + str(len(data)) + ']，開始處理數據……')
for x in range(len(data)):
    if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"

完整源碼

由於腳本須要屢次使用，而且針對不一樣文件的不一樣列，因此，咱們採用接受關鍵參數的形式，能夠不改動任何代碼，就能夠直接使用此腳原本完整咱們的數據拼接，同時，咱們還可使用pyinstaller模塊來將腳本進行打包成exe的window可執行文件，使其在無Python的運行環境中也可使用，打包命令爲：pyinstaller -F -i favicon.ico join_excel_data.py，我已有打包的上傳到交友網站Github上，你們有興趣的話，能夠點擊查看哦，交個朋友地址：https://github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格單行數據，並寫入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
    """打印信息"""
    now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
    # 獲取傳入參數
    file_name = input('請輸入當前目錄下的表格文件名（例如「01.xlsx」）：')
    line_num = input('請輸入要拼裝的數據第幾列（例如「1」）：')
    # 判斷文件是否存在
    if os.path.exists(file_name) == False:
        print_msg('文件不存在')
        os.system("pause")
        exit(0)
    # 判斷輸入的行數是否爲數字
    if line_num.isdigit() == False:
        print_msg('請輸入列數的數字')
        os.system("pause")
        exit(0)
    try:
        # 獲取表格數據
        print_msg('開始獲取文件[' + file_name + ']的第[' + str(line_num) + ']列數據')
        line_num = int(line_num) - 1
        sheet = pandas.read_excel(io=file_name, usecols=[line_num])
        data = sheet.values.tolist()
        str_data = ''
        # 循環處理數據
        print_msg('已獲取列數據條數[' + str(len(data)) + ']，開始處理數據……')
        for x in range(len(data)):
            if str(data[x][0]) != 'nan':
                str_data += "'" + str(data[x][0]) + "',"
        # 寫入文本文件
        print_msg('數據處理完畢，開始寫入……')
        random_num = random.randint(1000, 9999)
        with open('str_' + str(random_num) + '.txt', 'w') as f:
            f.write(str_data.strip(','))
        print_msg('數據寫入完畢.')
    except Exception as err_info:
        # 異常信息
        print_msg(str(err_info))
    # 防止exe程序執行結束閃退
    os.system("pause")

最後

若是你們有其餘好玩的、好用的歡迎分享出來，你們一塊兒學習和交流。對了，若是有說的不對的或者錯誤的地方，請你們指出來，我會加倍學習，力爭改進，指望和你們一塊兒進步，謝謝。