大數據的經常使用算法（分類、迴歸分析、聚類、關聯規則、神經網絡方法、web數據挖掘）

在大數據時代，數據挖掘是最關鍵的工做。大數據的挖掘是從海量、不徹底的、有噪聲的、模糊的、隨機的大型數據庫中發現隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基於人工智能，機器學習，模式學習，統計學等。經過對大數據高度自動化地分析，作出概括性的推理，從中挖掘出潛在的模式，能夠幫助企業、商家、用戶調整市場政策、減小風險、理性面對市場，並作出正確的決策。目前，在不少領域尤爲是在商業領域如銀行、電信、電商等，數據挖掘能夠解決不少問題，包括市場營銷策略制定、背景分析、企業管理危機等。大數據的挖掘經常使用的方法有分類、迴歸分析、聚類、關聯規則、神經網絡方法、Web 數據挖掘等。這些方法從不一樣的角度對數據進行挖掘。

數據準備的重要性：沒有高質量的挖掘結果，數據準備工做佔用的時間每每在60%以上。

(1)分類

分類是找出數據庫中的一組數據對象的共同特色並按照分類模式將其劃分爲不一樣的類，其目的是經過分類模型，將數據庫中的數據項映射到摸個給定的類別中。能夠應用到涉及到應用分類、趨勢預測中，如淘寶商鋪將用戶在一段時間內的購買狀況劃分紅不一樣的類，根據狀況向用戶推薦關聯類的商品，從而增長商鋪的銷售量。

分類的方法：決策樹——是最流行的分類方法

特色：

a、它的每次劃分都是基於最顯著的特徵的；

b、所分析的數據樣本被稱做樹根，算法從全部特徵中選出一個最重要的，用這個特徵把樣本分割成若干子集；

c、重複這個過程，直到全部的分支下面的實例都是「純」的，即子集中各個實例都屬於同一個類別，這樣的分支便可肯定爲一個葉子節點。在全部子集變成「純」的以後，樹就中止生長了。

決策樹的剪枝：

a、若是決策樹建的過深，容易致使過分擬合問題（即全部的分類結果數量基本同樣，沒有表明性）；

b、剪枝一般採用自上而下的方式。每次找出訓練數據中對預測精度貢獻最小的那個分支，剪掉它；

c、簡言之，先讓決策樹瘋狂生長，而後再慢慢往回收縮。總體上往回收縮多少，要根據在測試集上的表現來反覆嘗試。

(2)迴歸分析

迴歸分析反映了數據庫中數據的屬性值的特性，經過函數表達數據映射的關係來發現屬性值之間的依賴關係。它能夠應用到對數據序列的預測及相關關係的研究中去。在市場營銷中，迴歸分析能夠被應用到各個方面。如經過對本季度銷售的迴歸分析，對下一季度的銷售趨勢做出預測並作出針對性的營銷改變。

分類的方法：邏輯迴歸——是一種經常使用的分類方法，很是成熟，應用很是普遍　　　　

特色：

a、迴歸不僅能夠用於分類，也能用於發現變量間的因果關係；

b、最主要的迴歸模型有多元線性迴歸和邏輯迴歸；

c、有些時候邏輯迴歸不被看成典型的數據挖掘算法。

邏輯迴歸的步驟：

a、先訓練，目的是找到分類效果最佳的迴歸係數；

b、而後使用訓練獲得的一組迴歸係數，對輸入的數據進行計算，斷定它們所屬的類別

邏輯迴歸模型的檢驗：

因爲但願模型中的輸入變量與目標變量之間的關係足夠強，爲此須要作兩個診斷：

a、對模型總體的檢驗——R²，即所有輸入變量可以解釋目標變量變異性的百分之多少。R²越大，說明模型擬合得越好；若是R²過小，則模型不可用於預測。

b、迴歸係數的顯著性（p-value），若是某個輸入變量對目標變量的做用p-value小於0.05，則能夠認爲該輸入變量具備顯著做用。對不顯著的輸入變量能夠考慮從模型中去掉。

決策樹與邏輯迴歸的比較：

一、決策樹因爲採用分割的方法，因此可以深刻數據細部，但同時失去了對全局的把握。一個分支一旦造成，它和別的分支或節點的關係就被切斷，之後的挖掘只能在局部中行；

二、邏輯迴歸始終着眼於整數數據的擬合，因此對全局模式把握較好；

三、決策樹比較容易上手，須要的數據預處理較少；

四、邏輯迴歸模型不能處理缺失值，並且對異常值敏感。所以迴歸以前應該處理缺失值，並儘可能刪除異常值

分類和迴歸分析被稱爲有監督學習：

一、有標識；

二、經過模仿作出正確分類的已有數據，從而可以對新的數據作出比較準確的分類。這就像教小孩學習同樣。

 

 

(3)聚類

聚類相似於分類，但與分類的目的不一樣，是針對數據的類似性和差別性將一組數據分爲幾個類別。屬於同一類別的數據間的類似性很大，但不一樣類別之間數據的類似性很小，跨類的數據關聯性很低。

(4)關聯規則

關聯規則是隱藏在數據項之間的關聯或相互關係，便可以根據一個數據項的出現推導出其餘數據項的出現。關聯規則的挖掘過程主要包括兩個階段：第一階段爲從海量原始數據中找出全部的高頻項目組;第二極端爲從這些高頻項目組產生關聯規則。關聯規則挖掘技術已經被普遍應用於金融行業企業中用以預測客戶的需求，各銀行在本身的ATM 機上經過捆綁客戶可能感興趣的信息供用戶瞭解並獲取相應信息來改善自身的營銷。

聚類和關聯規則被稱爲無監督學習：

一、無標識；

二、聚類：針對客戶特徵進行客戶羣劃分。由此，咱們能夠對不一樣客戶羣採起差別化的促銷方式；

三、關聯規則：分析發現購買麪包的顧客中有很大比例的人同時購買牛奶，由此咱們能夠將牛奶與麪包放在同一個地方。

(5)神經網絡方法

神經網絡做爲一種先進的人工智能技術，因其自身自行處理、分佈存儲和高度容錯等特性很是適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數據爲特徵的處理問題，它的這一特色十分適合解決數據挖掘的問題。典型的神經網絡模型主要分爲三大類：第一類是以用於分類預測和模式識別的前饋式神經網絡模型，其主要表明爲函數型網絡、感知機;第二類是用於聯想記憶和優化算法的反饋式神經網絡模型，以Hopfield 的離散模型和連續模型爲表明。第三類是用於聚類的自組織映射方法，以ART 模型爲表明。雖然神經網絡有多種模型及算法，但在特定領域的數據挖掘中使用何種模型及算法並無統一的規則，並且人們很難理解網絡的學習及決策過程。

(6)Web數據挖掘

Web數據挖掘是一項綜合性技術，指Web 從文檔結構和使用的集合C 中發現隱含的模式P，若是將C看作是輸入，P 看作是輸出，那麼Web 挖掘過程就能夠看作是從輸入到輸出的一個映射過程。

當前愈來愈多的Web 數據都是以數據流的形式出現的，所以對Web 數據流挖掘就具備很重要的意義。目前經常使用的Web數據挖掘算法有：PageRank算法，HITS算法以及LOGSOM 算法。這三種算法提到的用戶都是籠統的用戶，並無區分用戶的個體。目前Web 數據挖掘面臨着一些問題，包括：用戶的分類問題、網站內容時效性問題，用戶在頁面停留時間問題，頁面的鏈入與鏈出數問題等。在Web 技術高速發展的今天，這些問題仍舊值得研究並加以解決。