數據分析方法

什麼是數據分析

大體能把搜到的書分爲兩類：第一類講數據理論統計學相關的，第二類就是數據分析工具應用類型的。而大部分咱們所購買的書基本都是某一類工具如何使用去進行數據分析，可是看完事後仍是不太懂什麼是數據分析，應用到實際工做場景中照樣很迷茫不知道該如何下手，這是什麼緣由呢？有的小夥伴會說：我想分析的根本沒有數！拿到的這個數也就只能作作折線圖，同比環比兩組數對比一下！業務當中發生了什麼數據好像不能看出來！不知道一個函數得出的結果表明什麼！還有可能我根本不會用一些工做等等。先講下宏觀上的幾個涉及數據分析的部分。

那爲何不少夥伴都想學數據分析呢？我想緣由可能很簡單：就是數據分析相關的崗位工資高啊！如今進入大數據時代不會點數據分析你具有核心競爭力嗎？

本文就以我的愚見來探討一下如何去作數據分析。文章大體分四個層次分別爲：需求層、數據層、分析層、輸出層。也是數據分析按重要順序排的大致步驟。
這裏寫圖片描述

需求層

需求層爲何是最重要的呢？由於需求是數據分析的開始，也是你要分析的目標方向。若是你都不知道你要分析什麼，還怎麼談如何分析？數據分析需求的來源每每有3種場景：1.監控到現有的指標出現了異常狀況須要經過數據分析去找緣由；2.公司要對現有的運營模式或者某個產品進行評估肯定是否須要進行調整或者優化；3.公司下達了戰略目標或短時間目標須要經過分析看如何達成。要肯定需求就必須與需求方進行溝通，清楚的確認需求的內容或者本身要分析前必需要清楚你想要的結果是什麼方向。舉個簡單的例子：年末將近，雙十一大促銷在即，數據分析師們又到了一年最辛苦，最悲催的時間段。然而，有多少無心義的加班，是由於業務部門不會提需求所致使的。需求提的不合理，業務部門看了不解決問題，就會反反覆覆的再提需求。致使數據分析師們辛苦加班還不落好，背上一個：「分析沒深度啊！」的壞名聲。其實這不能怪需求方不會提需求，而是你做爲數據分析人員要用你的經驗，你的專業技能，你的溝通技巧去引導，去肯定，去達成一致。

全部要作到清晰的肯定需求，須要自身具有：一、對業務、產品、需求背景有比較深的瞭解。瞭解的足夠對你才能去引導去判斷這個需求；二、光了解需求方是還不夠的，你須要從得到的需求快速的去結合你所掌握的技能組工具備個初步的分析思路；三、綜合判斷後你再決定是否須要分析，應該怎麼分析，與需求方溝通肯定清楚兩方理解是否一致。若是沒法作到就會出現不少沒法避免的問題。

理論上數據分析師所從事的工做是給出業務方相應的數據結果，而不是解決方案。雖然也有分析兩個字，可是如何設計解決方案是業務部門的事。運營部門就該作活動方案，產品經理就該出產品方案，銷售部門就該想東西怎麼賣。這纔是業務部門的本職工做。吵吵着：「你說我不行，你行你上啊」是玩忽職守的扯皮表現。若是連具體的業務方案都讓分析師來想了，分析師也乾脆把業務部門的工資領了算了。可是當下專業的數據分析師是須要比業務方更瞭解業務，你不瞭解業務下的結論領導或者需求方感信任嗎？因此，一個業務技術雙精通的數據分析師，是能夠替業務方搞定上邊全部問題的，不依賴業務方的判斷，由於他本身就是個業務高手，有豐富的實戰經驗與業務能力。但這種人是可遇不可求的。大部分數據分析師仍是70%時間處理數據的技術男。

在需求層我總結一下咱們所須要了具有的能力：一、對業務、產品、需求背景有足夠的瞭解，若是不瞭解說明你在這塊應該先去充充電；二、而後當你沒法想到分析方法的時候說明你對現有的數據不夠了解。你一樣該去了解了解數據的來源，數據的流轉，數據的定義。

數據層

目標需求肯定事後，如今的你就須要開始準備相關的數據了。數據層大體分爲：數據獲取、數據清洗、數據整理。有的夥伴會問，數據應該從哪來呢？數據來源取決於你分析需求，有直接從企業數據庫經過SQL進行取數、有經過各統計網站進行數據下載，有經過爬蟲技術在互聯網進行數據抓取，也有經過企業已經加工好的數據報表，這裏主要去講在大數據時代如何去準備數據。由於利用數據庫才能實現大數據下的真正核心分析，你才能配上數據分析師此次名稱。

大數據(Big Data)是指「沒法用現有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、複雜的數據集合。大數據挖掘商業價值的方法主要分爲四種1.客戶羣體細分，而後爲每一個羣體量定製特別的服務；2.模擬現實環境，發掘新的需求同時提升投資的回報率；3.增強部門聯繫，提升整條管理鏈條和產業鏈條的效率；4.下降服務成本，發現隱藏線索進行產品和服務的創新。

爲何大數據能實現這些場景？由於大數據的類型大體可分爲三類：1.傳統企業數據（Traditional enterprise data）：包括 CRM systems的消費者數據，傳統的ERP數據，庫存數據以及帳目數據等；2.機器和傳感器數據（Machine-generated /sensor data）：包括呼叫記錄（Call Detail Records），智能儀表，工業設備傳感器，設備日誌（一般是Digital exhaust），交易數據等；3.社交數據（Social data）：包括用戶行爲記錄，反饋數據等。如Twitter，Facebook這樣的社交媒體平臺等。經過數據庫你能取到已加工好的報表EXCEL所沒法作到的多樣性及細節化，你才能經過這些詳細的數據找出數據背後存在的問題。

如今的數據庫主要分爲關係類型數據，分佈式數據庫。關係類型數據表明產品爲mysql（免費開源的），分佈式數據庫表明hadoop。兩種都是實用sql語言進行數據提取，在數據分析中你將提取出來與分析相關的數據這步就是數據獲取。這裏你須要具有基礎的sql語言能力，要從海量的數據中找到你想要的部分。這個環節你也能對數據進行初步的清理，這裏取決於數據庫中的數據存儲是否完整規範。這裏有一篇說數據庫數據質量的文章推薦給你們數據質量管理。當你數據清理好也整理好後就能夠開始進行數據分析了。

分析層

分析的工具備不少，平民版的分析工具備excel、非專業的專業分析工具備spss、專業資深的分析工做有sas/R/python。個人我的建議是在整個分析過程須要掌握的工具中爲sql、excel、python。爲何是這三個，我先來講一下各個工具的特色。sql上文講當它是數據獲取的一個主要語言，而excel能夠進行一下快速的數據展現（手動拖動點選快），Python功能強大幾乎能夠作你想作的任何事情不止侷限於數據分析，學習優點絕對大於其餘分析工具python能作的事情。

好了，那咱們就利用Python來進行數據分析，分析的思路都是由」淺到深「。數據分析通常的步驟爲：描述分析——鎖定方向——建模分析——模型測試——迭代優化——模型加載——洞察結論。

描述分析是最基本的分析統計方法，在實際工做中也是應用最廣的分析方法。描述統計分爲兩大部分：數據描述和指標統計；
數據描述：用來對數據進行基本狀況的刻畫，包括：數據總數、時間跨度、時間粒度、空間範圍、空間粒度、數據來源等。若是是建模，那麼還要看數據的極值、分佈、離散度等內容。
指標統計：用來做報告，分析實際狀況的數據指標，可粗略分爲四大類：變化、分佈、對比、預測；變化：指標隨時間的變更，表現爲增幅（同比、環比等）;分佈：指標在不一樣層次上的表現，包括地域分佈（省、市、區縣、店/網點）、用戶羣分佈（年齡、性別、職業等）、產品分佈（如動感地帶和全球通）等；對比：包括內部對比和外部對比，內部對比包括團隊對比（團隊A與B的單產對比、銷量對比等）、產品線對比（動感地帶和全球通的ARPU、用戶數、收入對比）；外部對比主要是與市場環境和競爭者對比；這一部分和分佈有重疊的地方，但分佈更多用於找出好或壞的地方，而對比更偏重於找到好或壞的緣由；預測：根據現有狀況，估計下個分析時段的指標值；

洞察結論這一步是數據報告的核心，也是最能看出數據分析師水平的部分。一個年輕的分析師和一個年邁的分析師拿到一樣的圖表，徹底有可能解讀出不一樣的內容。
舉個例子：
這裏寫圖片描述
例子來源Data Science with R&Python

年輕的分析師：2013年1月銷售額同比上升60%，迎來開門紅。2月銷售額有所降低，3月大幅回升，4月持續增加。
年邁的分析師：2013年1月、2月銷售額去除春節因素後，1月實際同比上升20%，2月實際同比上升14%，3月、4月銷售額持續增加。
看到二者的區別了嗎？2013年春節在2月，2012年則在1月，所以須要各去除一週的銷售額，再進行比較。若是不考慮這一因素，那麼後續得出的全部結論都是錯的。挖掘數字變化背後的真正影響因素，纔是洞察的目標。

輸出層

都到這一步了，相信各位對數據報告也再也不陌生了。這一步中，須要保證的是數據報告內容的完整性。一個完整的數據報告，應至少包含如下六塊內容：報告背景、報告目的、數據來源、數量等基本狀況、分頁圖表內容及本頁結論、各部分小結及最終總結、下一步策略或對趨勢的預測；
其中，背景和目的決定了你的報告邏輯（解決什麼問題）；數據基本狀況告訴對方你用了什麼樣的數據，可信度如何；分頁內容須要按照必定的邏輯來構建，目標仍然是解決報告目的中的問題；小結及總結必不可少；下一步策略或對趨勢的預測能爲你的報告加分。

16種經常使用的數據分析方法彙總

常常會有朋友問到一個朋友，數據分析經常使用的分析方法有哪些，我須要學習哪一個等等之類的問題，今天數據分析精選給你們整理了十六種經常使用的數據分析方法，供你們參考學習。1、描述統計描述性統計是指運用製表和分類，圖形以及計筠歸納性數據來描述數據的集中趨勢、離散趨勢、偏度、峯度。一、缺失值填充：經常使用方法：剔除法、均值法、最小鄰居法、比率迴歸法、決策樹法。二、正態性檢驗：不少統計方法都要求數值服從或近似服從正態分佈，因此以前須要進行正態性檢驗。經常使用方法：非參數檢驗的K-量檢驗、P-P圖、Q-Q圖、W檢驗、動差法。2、假設檢驗一、參數檢驗參數檢驗是在已知整體分佈的條件下（一股要求整體服從正態分佈）對一些主要的參數(如均值、百分數、方差、相關係數等）進行的檢驗 。1）U驗 使用條件：當樣本含量n較大時，樣本值符合正態分佈2）T檢驗 使用條件：當樣本含量n較小時，樣本值符合正態分佈A 單樣本t檢驗：推斷該樣原本自的整體均數μ與已知的某一整體均數μ0 (常爲理論值或標準值)有無差異；B 配對樣本t檢驗：當整體均數未知時，且兩個樣本能夠配對，同對中的二者在可能會影響處理效果的各類條件方面扱爲類似；C 兩獨立樣本t檢驗：沒法找到在各方面極爲類似的兩樣本做配對比較時使用。二、非參數檢驗非參數檢驗則不考慮整體分佈是否已知，經常也不是針對整體參數，而是針對整體的某些一股性假設（如整體分佈的位罝是否相同，整體分佈是否正態）進行檢驗。適用狀況：順序類型的數據資料，這類數據的分佈形態通常是未知的。A 雖然是連續數據，但整體分佈形態未知或者非正態；B 體分佈雖然正態，數據也是連續類型，但樣本容量極小，如10如下；主要方法包括：卡方檢驗、秩和檢驗、二項檢驗、遊程檢驗、K-量檢驗等。3、信度分析檢査測量的可信度，例如調查問卷的真實性。分類：一、外在信度：不一樣時間測量時量表的一致性程度，經常使用方法重測信度二、內在信度；每一個量表是否測量到單一的概念，同時組成兩表的內在體項一致性如何，經常使用方法分半信度。4、列聯表分析用於分析離散變量或定型變量之間是否存在相關。對於二維表，可進行卡方檢驗，對於三維表，可做Mentel-Hanszel分層分析。列聯表分析還包括配對計數資料的卡方檢驗、行列均爲順序變量的相關檢驗。5、相關分析研究現象之間是否存在某種依存關係，對具體有依存關係的現象探討相關方向及相關程度。一、單相關： 兩個因素之間的相關關係叫單相關，即研究時只涉及一個自變量和一個因變量；二、複相關 ：三個或三個以上因素的相關關係叫複相關，即研究時涉及兩個或兩個以上的自變量和因變量相關；三、偏相關：在某一現象與多種現象相關的場合，當假定其餘變量不變時，其中兩個變量之間的相關關係稱爲偏相關。6、方差分析使用條件：各樣本須是相互獨立的隨機樣本；各樣原本自正態分佈整體；各整體方差相等。分類一、單因素方差分析：一項試驗只有一個影響因素，或者存在多個影響因素時，只分析一個因素與響應變量的關係二、多因素有交互方差分析：一頊實驗有多個影響因素，分析多個影響因素與響應變量的關係，同時考慮多個影響因素之間的關係三、多因素無交互方差分析：分析多個影響因素與響應變量的關係，可是影響因素之間沒有影響關係或忽略影響關係四、協方差分祈：傳統的方差分析存在明顯的弊端，沒法控制分析中存在的某些隨機因素，使之影響了分祈結果的準確度。協方差分析主要是在排除了協變量的影響後再對修正後的主效應進行方差分析，是將線性迴歸與方差分析結合起來的一種分析方法，7、迴歸分析分類：一、一元線性迴歸分析：只有一個自變量X與因變量Y有關，X與Y都必須是連續型變量，因變量y或其殘差必須服從正態分佈。二、多元線性迴歸分析使用條件：分析多個自變量與因變量Y的關係，X與Y都必須是連續型變量，因變量y或其殘差必須服從正態分佈 。1）變呈篩選方式：選擇最優迴歸方程的變裏篩選法包括全橫型法（CP法）、逐步迴歸法，向前引入法和向後剔除法2）橫型診斷方法：A 殘差檢驗： 觀測值與估計值的差值要艱從正態分佈B 強影響點判斷：尋找方式通常分爲標準偏差法、Mahalanobis距離法C 共線性診斷：診斷方式：容忍度、方差擴大因子法(又稱膨脹係數VIF)、特徵根斷定法、條件指針CI、方差比例處理方法：增長樣本容量或選取另外的迴歸如主成分迴歸、嶺迴歸等三、Logistic迴歸分析線性迴歸模型要求因變量是連續的正態分佈變裏，且自變量和因變量呈線性關係，而Logistic迴歸模型對因變量的分佈沒有要求，通常用於因變量是離散時的狀況分類：Logistic迴歸模型有條件與非條件之分，條件Logistic迴歸模型和非條件Logistic迴歸模型的區別在於參數的估計是否用到了條件機率。四、其餘迴歸方法 非線性迴歸、有序迴歸、Probit迴歸、加權迴歸等8、聚類分析樣本個體或指標變量按其具備的特性進行分類，尋找合理的度量事物類似性的統計量。一、性質分類：Q型聚類分析：對樣本進行分類處理，又稱樣本聚類分祈 使用距離係數做爲統計量衡量類似度，如歐式距離、極端距離、絕對距離等R型聚類分析：對指標進行分類處理，又稱指標聚類分析 使用類似係數做爲統計量衡量類似度，相關係數、列聯繫數等二、方法分類：1）系統聚類法： 適用於小樣本的樣本聚類或指標聚類，通常用系統聚類法來聚類指標，又稱分層聚類2）逐步聚類法 ：適用於大樣本的樣本聚類3）其餘聚類法 ：兩步聚類、K均值聚類等9、判別分析一、判別分析：根據已掌握的一批分類明確的樣品創建判別函數，使產生錯判的事例最少，進而對給定的一個新樣品，判斷它來自哪一個整體二、與聚類分析區別1）聚類分析能夠對樣本逬行分類，也能夠對指標進行分類；而判別分析只能對樣本2）聚類分析事先不知道事物的類別，也不知道分幾類；而判別分析必須事先知道事物的類別，也知道分幾類3）聚類分析不須要分類的歷史資料，而直接對樣本進行分類；而判別分析須要分類歷史資料去創建判別函數，而後才能對樣本進行分類三、進行分類 ：1）Fisher判別分析法 ：以距離爲判別準則來分類，即樣本與哪一個類的距離最短就分到哪一類， 適用於兩類判別；以機率爲判別準則來分類，即樣本屬於哪一類的機率最大就分到哪一類，適用於適用於多類判別。2）BAYES判別分析法 ：BAYES判別分析法比FISHER判別分析法更加完善和先進，它不只能解決多類判別分析，並且分析時考慮了數據的分佈狀態，因此通常較多使用；10、主成分分析將彼此梠關的一組指標變適轉化爲彼此獨立的一組新的指標變量，並用其中較少的幾個新指標變量就能綜合反應原多個指標變量中所包含的主要信息 。11、因子分析一種旨在尋找隱藏在多變量數據中、沒法直接觀察到卻影響或支配可測變量的潛在因子、並估計潛在因子對可測變量的影響程度以及潛在因子之間的相關性的一種多元統計分析方法與主成分分析比較：相同：都可以起到済理多個原始變量內在結構關係的做用不一樣：主成分分析重在綜合原始變適的信息.而因子分析重在解釋原始變量間的關係，是比主成分分析更深刻的一種多元統計方法用途：1）減小分析變量個數2）經過對變量間相關關係探測，將原始變量進行分類12、時間序列分析動態數據處理的統計方法，研究隨機數據序列所聽從的統計規律，以用於解決實際問題；時間序列一般由4種要素組成：趨勢、季節變更、循環波動和不規則波動。主要方法：移動平均濾波與指數平滑法、ARIMA橫型、量ARIMA橫型、ARIMAX模型、向呈自迴歸橫型、ARCH族模型十3、生存分析用來研究生存時間的分佈規律以及生存時間和相關因索之間關係的一種統計分析方法一、包含內容：1）描述生存過程，即研究生存時間的分佈規律2）比較生存過程，即研究兩組或多組生存時間的分佈規律，並進行比較3）分析危險因素，即研究危險因素對生存過程的影響4）創建數學模型，即將生存時間與相關危險因素的依存關係用一個數學式子表示出來。二、方法：1）統計描述：包括求生存時間的分位數、中數生存期、平均數、生存函數的估計、判斷生存時間的圖示法，不對所分析的數據做出任何統計推斷結論2）非參數檢驗：檢驗分組變量各水平所對應的生存曲線是否一致，對生存時間的分佈沒有要求，而且檢驗危險因素對生存時間的影響。A 乘積極限法（PL法）B 壽命表法(LT法)3）半參數橫型迴歸分析：在特定的假設之下，創建生存時間隨多個危險因素變化的迴歸方程，這種方法的表明是Cox比例風險迴歸分析法4）參數模型迴歸分析：已知生存時間服從特定的參數橫型時，擬合相應的參數模型，更準確地分析肯定變量之間的變化規律十4、典型相關分析相關分析通常分析兩個變裏之間的關係，而典型相關分析是分析兩組變裏（如3個學術能力指標與5個在校成績表現指標）之間相關性的一種統計分析方法。典型相關分析的基本思想和主成分分析的基本思想類似，它將一組變量與另外一組變量之間單變量的多重線性相關性研究轉化爲對少數幾對綜合變量之間的簡單線性相關性的研究，而且這少數幾對變量所包含的線性相關性的信息幾乎覆蓋了原變量組所包含的所有相應信息。十5、R0C分析R0C曲線是根據一系列不一樣的二分類方式(分界值或決定閾）.以真陽性率（靈敏度)爲縱座標，假陽性率（1-特異度)爲橫座標繪製的曲線用途：一、R0C曲線能很容易地查出任意界限值時的對疾病的識別能力用途 ；二、選擇最佳的診斷界限值。R0C曲線越靠近左上角，試驗的準確性就越高；三、兩種或兩種以上不一樣診斷試驗對疾病識別能力的比較，一股用R0C曲線下面積反映診斷系統的準確性。十6、其餘分析方法多重響應分析、距離分祈、項目分祈、對應分祈、決策樹分析、神經網絡、系統方程、蒙特卡洛模擬等。