媲美pandas的數據分析工具包Datatable

1 前言

data.table 是 R 中一個很是通用和高性能的包，使用簡單、方便並且速度快，在 R 語言社區很是受歡迎，每月的下載量超過 40 萬，有近 650 個 CRAN 和 Bioconductor 軟件包使用它。若是你是 R 的使用者，可能已經使用過 data.table 包。

而對於 Python 用戶，一樣存在一個名爲 datatable 包，專一於大數據支持、高性能內存/內存不足的數據集以及多線程算法等問題。在某種程度上，datatable 能夠被稱爲是 Python 中的 data.table。

2 Datatable簡介

爲了可以更準確地構建模型，如今機器學習應用一般要處理大量的數據並生成多種特徵，這已成爲必要的。而 Python 的 datatable 模塊爲解決這個問題提供了良好的支持，以可能的最大速度在單節點機器上進行大數據操做 (最多100GB)。datatable 包的開發由 H2O.ai 贊助，它的第一個用戶是 Driverless.ai。

2.1 安裝

Mac OS系統

pip install datatable

Linux系統

安裝過程須要經過二進制分佈來實現

# If you have Python 3.5
pip install https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp35-cp35m-linux_x86_64.whl
# If you have Python 3.6
pip install https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp36-cp36m-linux_x86_64.whl

很遺憾的是，目前 datatable 包還不能在 Windows 系統上工做，但 Python 官方也在努力地增長其對 Windows 的支持。更多的信息能夠查看 Build instructions 的說明。

https://datatable.readthedocs.io/en/latest/install.html

2.2 數據讀取

這裏使用的數據集是來自 Kaggle 競賽中的 Lending Club Loan Data 數據集, 該數據集包含2007-2015期間全部貸款人完整的貸款數據，即當前貸款狀態 (當前，延遲，全額支付等) 和最新支付信息等。整個文件共包含226萬行和145列數據，數據量規模很是適合演示 datatable 包的功能。

數據集：

"""
連接:https://pan.baidu.com/s/1_vVviJWj6A9I05F7bmQNlg  密碼:y4jd
"""

import numpy as np
import pandas as pd
import datatable as dt

首先將數據加載到 Frame 對象中，datatable 的基本分析單位是 Frame，這與Pandas DataFrame 或 SQL table 的概念是相同的：即數據以行和列的二維數組排列展現。

使用datatable讀取數據

%%time
dft = dt.fread('loan.csv')

CPU times: user 23.8 s, sys: 2.32 s, total: 26.1 s                              
Wall time: 2.54 s

這個數據集一共226萬行，145列，將近1.2G的數據，經過datatable讀取只用了2.54s

如上所示，fread() 是一個強大又快速的函數，可以自動檢測並解析文本文件中大多數的參數，所支持的文件格式包括 .zip 文件、URL 數據，Excel 文件等等。此外，datatable 解析器具備以下幾大功能：

• 可以自動檢測分隔符，標題，列類型，引用規則等。
• 可以讀取多種文件的數據，包括文件，URL，shell，原始文本，檔案和 glob 等。
• 提供多線程文件讀取功能，以得到最大的速度。
• 在讀取大文件時包含進度指示器。
• 能夠讀取 RFC4180 兼容和不兼容的文件。

使用pandas讀取數據

！！！注意:因爲數據量過大，使用pandas讀取數據會常常使服務掛機，因此可使用數據量稍小的數據集來測試

%%time
df = pd.read_csv('loan.csv')

CPU times: user 27.3 s, sys: 4.68 s, total: 31.9 s
Wall time: 28.5 s

由此能夠看出，結果代表在讀取大型數據時 datatable 包的性能明顯優於 Pandas，Pandas 須要接近30秒的時間來讀取這些數據，而 datatable 只須要2秒多。

2.3 幀轉換 (Frame Conversion)

對於當前存在的幀，能夠將其轉換爲一個 Numpy 或 Pandas dataframe 的形式，以下所示：

numpy_df = dft.to_numpy()
pandas_df = dft.to_pandas()

下面，將 datatable 讀取的數據幀轉換爲 Pandas dataframe 形式，並比較所需的時間，以下所示：

因爲 Lending Club Loan Data 數據集的數據量過大，使用to_padnas操做，jupyte服務容易掛機，因此使用一個數據集較小的進行測試。

%%time
dft = dt.fread('baba.csv')
pandas_df = dft.to_pandas()

CPU times: user 2.44 ms, sys: 287 µs, total: 2.72 ms
Wall time: 2.62 ms

經過datatable讀取數據加上將其轉換爲DataFrame數組，一共是2.62ms.

%%time
dft = pd.read_csv('baba.csv')

CPU times: user 7.95 ms, sys: 3.18 ms, total: 11.1 ms
Wall time: 14.4 ms

單經過pandas讀取數據，總共須要14.4ms。

看起來將文件做爲一個 datatable frame 讀取，而後將其轉換爲 Pandas dataframe比直接讀取 Pandas dataframe 的方式所花費的時間更少。所以，經過 datatable 包導入大型的數據文件再將其轉換爲 Pandas dataframe 的作法是個不錯的主意。

2.4 幀的基礎屬性

下面來介紹 datatable 中 frame 的一些基礎屬性，這與 Pandas 中 dataframe 的一些功能相似。

print(dft.shape)       # (nrows, ncols)
print(dft.names[:5])   # top 5 column names
print(dft.stypes[:5])  # column types(top 5)
______________________________________________________________
(2260668, 145)
('id', 'member_id', 'loan_amnt', 'funded_amnt', 'funded_amnt_inv')
(stype.bool8, stype.bool8, stype.int32, stype.int32, stype.float64)

也能夠經過使用 head 命令來打印出輸出的前 n 行數據，以下所示：

dft.head(10)

注意：這裏用顏色來指代數據的類型，其中紅色表示字符串，綠色表示整型，而藍色表明浮點型。

2.5 統計總結

在 Pandas 中，總結並計算數據的統計信息是一個很是消耗內存的過程，但這個過程在 datatable 包中是很方便的。以下所示，使用 datatable 包計算如下每列的統計信息：

dft.sum()      dft.nunique()
dft.sd()       dft.max()
dft.mode()     dft.min()
dft.nmodal()   dft.mean()

下面分別使用 datatable 和Pandas 來計算每列數據的均值，並比較兩者運行時間的差別。

Datatable讀取

%%time
dft.mean()
__________________________________________________________________
CPU times: user 3.56 s, sys: 5.35 ms, total: 3.56 s
Wall time: 302 ms

Pandas讀取

pandas_df.mean()
__________________________________________________________________
Throws memory error.

使用 Pandas 計算時拋出內存錯誤的異常。

3 數據操做

和 dataframe 同樣，datatable 也是柱狀數據結構。在 datatable 中，全部這些操做的主要工具是方括號，其靈感來自傳統的矩陣索引，但它包含更多的功能。諸如矩陣索引，C/C++，R，Pandas，Numpy 中都使用相同的 DT[i，j] 的數學表示法。下面來看看如何使用 datatable 來進行一些常見的數據處理工做。

選擇行/列的子集

下面的代碼可以從整個數據集中篩選出全部行及 funded_amnt 列：

dft[:,'funded_amnt']

展現如何選擇數據集中前5行3列的數據，以下所示：

dft[:5,:3]

幀排序

• datatable 排序

在 datatable 中經過特定的列來對幀進行排序操做，以下所示：

%%time
dft.sort('funded_amnt_inv')

CPU times: user 1.47 s, sys: 77.1 ms, total: 1.55 s
Wall time: 147 ms

• Pandas 排序

%%time
pandas_df.sort_values(by = 'funded_amnt_inv')
___________________________________________________________________
CPU times: user 8.76 s, sys: 2.87 s, total: 11.6 s
Wall time: 12.4 s

能夠看到兩種包在排序時間方面存在明顯的差別。

刪除行/列

下面展現如何刪除 member_id 這一列的數據：

del dft[:, 'member_id']

分組 (GroupBy)

與 Pandas 相似，datatable 一樣具備分組 (GroupBy) 操做。下面來看看如何在 datatable 和 Pandas 中，經過對 grade 分組來獲得 funded_amout 列的均值：

• datatable 分組

%%time
for i in range(100):
    dft[:, dt.sum(dt.f.funded_amnt), dt.by(dt.f.grade)]

CPU times: user 9.45 s, sys: 643 ms, total: 10.1 s
Wall time: 861 ms

• pandas 分組

%%time
for i in range(100):
    pandas_df.groupby("grade")["funded_amnt"].sum()
____________________________________________________________________
CPU times: user 12.9 s, sys: 859 ms, total: 13.7 s
Wall time: 13.9 s

.f 表明什麼

在 datatable 中，f 表明 frame_proxy，它提供一種簡單的方式來引用當前正在操做的幀。在上面的例子中，dt.f 只表明 dt_df。

過濾行

在 datatable 中，過濾行的語法與GroupBy的語法很是類似。下面就來展現如何過濾掉 loan_amnt 中大於 funding_amnt 的值，以下所示。

dft[dt.f.loan_amnt>dt.f.funded_amnt,"loan_amnt"]

保存幀

在 datatable 中，一樣能夠經過將幀的內容寫入一個 csv 文件來保存，以便往後使用。以下所示：

dft.to_csv('output.csv')

有關數據操做的更多功能，可查看 datatable 包的說明文檔

地址：https://datatable.readthedocs.io/en/latest/using-datatable.html

總結

在數據科學領域，與默認的 Pandas 包相比，datatable 模塊具備更快的執行速度，這是其在處理大型數據集時的一大優點所在。然而，就功能而言，目前 datatable 包所包含的功能還不如 pandas 完善。相信在不久的未來，不斷完善的 datatable 可以更增強大。