5分鐘入門數據分析

        對於剛剛入門數據分析的同窗來講，很是有必要對大數據分析流程有一個總體的認識，明白整個分析鏈都有哪些環節。當您清楚數據的分析過程以後，你天然也就找到了通向高階分析的鑰匙。除了具有解決異常問題的處理能力以外，更能輕鬆優化分析模型，甚至是經過已有的分析結果倒推出數據發展變化的通過。

        從大致上來說，數據分析主要包括肯定分析目標、收集數據、數據探索、構建分析模型、模型發佈、可視化展現這幾個流程。

           一、肯定分析目標

         「凡事預則立，不預則廢」，確立大數據分析目標一樣適用。在分析數據以前，必需要明確分析的目標是什麼？通常狀況下，須要明確數據的維度，肯定分析任務，定義問題領域。

           二、收集數據

        在明確了數據分析目標以後，就真正接觸到了數據集。抽取數據以後，爲了保證數據的分析結果，必須對數據進行去燥操做，獲得精準數據。這方面的工具，通常包括ETL工具、EXCEL數據透視表、各種DATABASE等。而這一步中，最關鍵的是保證數據的質量。

           三、數據探索

        獲得數據以後，首先要驗證這些數據是否達到了咱們的設想要求，經過訓練數據，一步步的瞭解數據的特質，找出數據之間的關係與規律，爲構建分析模型打好基礎。常見的數據探索手段有交互分析、數據處理、可視化分析等，重點在於快速辨析數據的模式與特色以及規律，並把它們有序地發掘出來。

           四、構建分析模型

          這一步是整個數據分析的核心。須要考慮選擇何種ML（機器學習算法）來構建模型，以反映樣本數據的內部結構的通常特徵。經常使用的工具主要是使用R語言、SPSS及近年來興起的OpenFEA。而常見的機器學習算法，根據數據有沒有標籤，能夠將機器學習算法分爲有監督和無監督兩類。如下列舉了一些比較常見的機器學習算法。

           五、模型發佈

        模型發佈以前，須要運用專業知識對構建的分析模型進行初步評測判斷和解釋，以決定是否重複分析，經過不斷的變動、迭代過程後，將完善後的分析模型，與計算框架、調度控制封裝後進行發佈。

           六、可視化展現

        運用可視化圖形（餅圖、柱形圖、條形圖、折線圖、散點圖、矩陣圖等），將分析結果進行圖形化輸出。也能夠經過構建分析門戶，來提供單獨的訪問口徑。這一步離客戶端最近，但不少大數據分析系統將其省略。隨着可視化分析的不斷深 入，此流程將愈來愈受到重視。

        綜上所述，數據分析的六個流程並非每一個大數據分析系統都覆蓋的，不少大數據分析系統只側重於一個或幾個流程，沒法作到全覆蓋，而OpenFEA卻能作到全流程、全覆蓋！