NumPy Tips

在機器學習領域中，NumPy是最基本的數據結構，用於存儲矩陣和執行與矩陣計算相關的操做。本文分享一些關於NumPy的使用小技巧，經過矩陣計算避免循環邏輯。

• 機率矩陣 轉 OneHot矩陣
• 列表的置信區間
• 桶區間索引列表
• 異常值檢測
• 連續列表離散化
• 一維矩陣升降維

---

機率矩陣 轉 OneHot矩陣

在多分類過程當中，常常須要將機率矩陣轉換爲One-Hot矩陣，用於驗證模型效果。

1. 計算機率矩陣中每一行的最大值位置；
2. 建立與類別維度相同的對角線矩陣；
3. 根據最大位置, 選擇對角線矩陣相應的行, 即One-Hot矩陣。

源碼實現：

import numpy as np

def prp_2_oh_array(arr):
    """ 機率矩陣轉換爲OH矩陣 arr = np.array([[0.1, 0.5, 0.4], [0.2, 0.1, 0.6]]) :param arr: 機率矩陣 :return: OH矩陣 """
    arr_size = arr.shape[1]  # 類別數
    arr_max = np.argmax(arr, axis=1)  # 最大值位置
    oh_arr = np.eye(arr_size)[arr_max]  # OH矩陣
    return oh_arr
複製代碼

輸出：

[[0. 1. 0.]
 [0. 0. 1.]]
複製代碼

---

列表的置信區間

當桶編碼數字列表時，須要使用置信區間進行處理異常值，和桶區間的劃分。

import numpy as np
from scipy import stats

def mean_confidence_interval(data_list, confidence=0.95):
    """ 置信區間 data_list = [1, 2, 3, 4, 5, 6, 10] (4.428571428571429, 1.6613839667258272, 7.19575889041703) :param data_list: 數字列表 :param confidence: 置信度 :return: 均值和置信區間 """
    a = 1.0 * np.array(data_list)
    n = len(a)
    m, se = np.mean(a), stats.sem(a)
    h = se * stats.t.ppf((1 + confidence) / 2., n - 1)
    return m, m - h, m + h
複製代碼

---

桶區間索引列表

使用**digitize()**函數，將不一樣的數字放入桶中，即將連續列表離散化。注意：桶數是區間數的長度加1，左右兩側均有，從0開始。

import numpy as np

x = np.array([0.1, 6.4, 3.0, 1.6, 25, 30])
bins = np.array([1.0, 2.5, 4.0, 10.0])  # 區間包含首位，即len+1
inds = np.digitize(x, bins)  # 轉換爲桶的值
print inds
複製代碼

輸出：

[0 3 2 1 4 4]
複製代碼

---

異常值檢測

將數據中的異常值（Outlier）替換爲最大值和最小值，避免對於分佈的形態形成干擾。

import numpy as np

def filter_outliers(data, m=1):
    """ 異常值檢測 data = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100]) [ 0.1 0.1 6.4 3. 1.6 25. 30. 30. ] :param data: 數據列表 :param m: 偏離標準差的數量 :return: 去除標準差的數據 """
    std_arr = data[abs(data - np.mean(data)) < m * np.std(data)]
    max_ol = data - np.mean(data) > m * np.std(data)
    min_ol = data - np.mean(data) < -m * np.std(data)
    data[max_ol] = np.max(std_arr)
    data[min_ol] = np.min(std_arr)
    return data
複製代碼

---

連續列表離散化

將連續列表離散化，去除異常值，基於置信度進行分區。其中，函數filter_outliers和mean_confidence_interval參考上文實現。

import numpy as np

def continuous_list_to_discrete(cont_list, bc=32, confidence=0.95):
    """ 連續數據離散化，含有去除異常值 x = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100]) [ 0 0 8 4 2 31 31 31] :param cont_list: 連續列表 :param bc: 桶數量 :param confidence: 置信度 :return: 離散列表 """
    cont_list = filter_outliers(cont_list)  # 去除異常值
    m, h = mean_confidence_interval(cont_list, confidence)
    bins = np.linspace(m - h, m + h, bc - 1)  # 桶數量減1爲區間數
    dis_list = np.digitize(cont_list, bins)  # 轉換爲桶的值
    return dis_list
複製代碼

---

一維矩陣升降維

在測試算法中，須要調整測試數據的維度。對於一條測試樣本，即一維矩陣，使用expand_dims進行升維。反向操做，則使用squeeze進行降維。

import numpy as np

print "一維矩陣: "
arr = np.array([1, 2, 3])
print arr
print arr.shape

print "\n升維: "
arr = np.expand_dims(arr, axis=0)
print arr
print arr.shape

print "\n降維: "
arr = np.squeeze(arr)
print arr
print arr.shape
複製代碼

輸出

一維矩陣: 
[1 2 3]
(3,)

升維: 
[[1 2 3]]
(1, 3)

降維: 
[1 2 3]
(3,)
複製代碼

---

歡迎Follow個人GitHub：https://github.com/SpikeKing

By C. L. Wang @ 美圖雲事業部

OK, that's all!