機器學習之數據探索——數據質量分析

數據探索是對樣本數據進行解釋性的分析工做，它是數據挖掘和機器學習較爲前期的部分，更偏重於研究數據的本質、描述數據的形態特徵並解釋數據的相關性。
換句話說，透過數據探索，咱們應該能夠回答以下問題：
樣本數據的分佈怎樣？有什麼特色？數據之間有何種關係？數據是否知足建模要求？

問題驅動發展，對以上問題進行解答，涉及到數據探索的兩個方面工做：

數據質量分析

數據特徵分析

須要說起的是，數據探索與數據預處理緊密相連的，兩者在數據挖掘的中沒有絕對的前後次序。好比，在數據質量分析中，就牽涉到數據預處理中的數據清洗。
本文將主要介紹數據質量分析的相關工做。

數據質量分析

數據質量分析的主要任務是檢查原始數據中是否存在髒數據，髒數據通常是指不符合要求，髒數據包括如下方面：

1 缺失值

2 異常值

3 不一致的值

4 重複數據以及含有特殊符號（如#、￥、*）的數據

對於第四種數據，理解起來比較簡單，處理也很容易，所以主要針對前三種數據進行分析，至於處理手段，所用到的方法是數據預處理中的數據清洗內容。

1 缺失值

數據的缺失主要包括記錄的缺失和記錄中某個字段信息的缺失，二者都會形成分析結果的不許確。

（1）缺失值產生緣由
1）有些信息暫時沒法獲取，或者獲取代價太大。
2）有些信息被遺漏。多是忘記填寫或對數據理解錯誤等因素，也多是因爲數據採集設備的故障形成。
3）屬性值不存在。在某些狀況下，對一些對象來講某些屬性值不存在的，如一個未婚者的配偶姓名、一個兒童的固定收入等。

（2）缺失值處理方式
1）刪除元組
將存在遺漏信息屬性值的對象（記錄）刪除，從而獲得一個完備的信息表。這種方法在對象有多個屬性缺失值、被刪除的含缺失值的對象與信息表中的數據量相比很是小的狀況下是很是有效的。然而這種方法丟棄了大量隱藏在這些對象中的信息。在信息表中對象不多的狀況下會影響到結果的正確性，可能致使數據發生偏離，從而引出錯誤的結論。
2）數據填補
數據挖掘中經常使用的有如下幾種補齊方法：
特殊值填充、平均值填充、就近補齊
使用算法對缺失值進行估計，包括K最近鄰法、迴歸、指望值最大化方法
3）不處理
這種方式對模型有特定要求，須要模型可以處理缺失值。

2 異常值

異常值是指樣本中的個別值，其數據明顯偏離其他的觀測值。異常值也稱爲離羣點，異常值的分析也稱爲離羣點分析。

（1）異常值發現
1）簡單計量分析
能夠先對變量作一個描述性統計，進而查看哪些數據是不合理的。最經常使用的統計量是最大值和最小值，用來判斷這個變量的取值是否超出了合理的範圍。如客戶年齡的最大值爲199歲，則該變量的取值存在異常。
2）3σ原則
若是數據服從正態分佈，在3σ原則下，異常值被定義爲一組測定值中與平均值的誤差超過3倍標準差的值。在正態分佈的假設下，距離平均值3σ以外的值出現的機率爲P(|x-μ|>3σ)≤0.003，屬於極個別小几率事件。
若是數據不服從正態分佈，也能夠用遠離平均值的多少倍標準差來描述。
3）箱型圖分析
箱型圖提供了識別異常值的一個標準：異常值一般被定義爲小於QL-1.5IQR或大於Qu+1.5IQR的值。QL成爲下四分位數，表示所有觀察值中有四分之的數據取值比它小；Qu稱爲上四分位數，表示所有觀察值中有四分之一的數據取值比它大；IQR稱爲四分位數間距，是上四分位數與下四分位數之差，其間包含了所有觀察值的一半。

（2）異常值處理方式
異常值的處理與缺失值相似，簡要以下：
1）刪除含有異常值的記錄
2）將異常值視爲缺失值，使用缺失值處理方法來處理
3）不處理

3 一致性

數據不一致性是指數據的矛盾性、不相容性等。
在數據挖掘過程當中，不一致數據的產生主要發生在數據集成過程當中，這多是因爲從不一樣的數據源、對於從新存放的數據未能進行一致性形成的。例如，兩張表中都存儲了用戶的電話號碼，但在用戶的電話號碼發生改變時只更新了一張表中的數據，那麼這兩張表中就有了不一致的數據。

聲明：本文有關內容源於《python數據挖掘與實踐》