深刻淺出談數據挖掘zz

編者的話：本文對數據挖掘概念的產生，數據挖掘與常規數據分析的主要區別，所能解決的幾大類問題和所應用的領域都有着很是清晰的論述。做者在此篇文章中認爲數據挖掘最重要的要素是分析人員的相關業務知識和思惟模式。豐富的業務知識是設計有效的相關變量的必要條件，而分析人員的思惟模式從另一個方面也保障了設計變量的結構化和完整性。因此咱們在掌握豐富的業務知識同時，若是可以按照正確的思惟模式去思考問題，將會發現解決問題並非很困難的。

1、           數據挖掘的本質

通常來講，比較狹義的觀點認爲數據挖掘區別於常規數據分析的關鍵點在於：數據挖掘主要側重解決四類問題：分類、聚類、關聯、預測（關於這四類問題後文會詳細闡述），而常規數據分析則側重於解決除此以外的其餘數據分析問題：如描述性統計、交叉報表、假設檢驗等。

讓咱們來看一個例子：某移動運營商想了解目前彩鈴業務的發展示狀如何？解決這個問題的方法就是常規的數據分析，經過描述性統計和交叉報表，能夠知道目前彩鈴業務的用戶數、普及率、收入狀況？不一樣品牌用戶間的狀況和差別？不一樣消費水平用戶間的狀況和差別……。這樣的分析主要解決了企業過去發生了什麼以及存在什麼問題；若是該運營商但願創建一個模型（或者規則），從沒有使用彩鈴的用戶羣中找出一部分用戶做爲彩鈴營銷活動的目標用戶，如經過短信或者外呼的方式告知用戶能夠免費試用彩鈴一個月。解決這個問題則須要使用數據挖掘的方法，如經過決策樹方法能夠找出使用彩鈴業務可能性較高的用戶的一系列特徵規則，而後根據這些規則去篩選目標用戶。固然數據挖掘也並非解決這個問題惟一辦法，由於在沒有數據挖據這個概念以前（1990年之前），這樣的問題在商業中也是廣泛存在的。經過常規的數據分析依然能解決這個問題，例如研究不一樣品牌、不一樣消費水平、不一樣年齡、不一樣……的用戶使用彩鈴的狀況，也能夠總結出一套比較實用的規則來做爲篩選彩鈴目標用戶的規則。固然，這樣的方法跟數據挖掘方法相比存在必定的不足，因爲篇幅的限制，這個問題留給你們去思考。

我的的觀點：數據挖掘很大程度上來講更像是一個框架概念。它所使用的各類方法在這個概念造成以前已經廣泛存在，例如統計學中的多元迴歸、Logistic迴歸，人工智能中的神經網絡等。在上個世紀90年代，因爲數據庫的高速發展，企業對精確化營銷的迫切需求，致使了數據挖掘這個概念和新名詞的誕生。固然咱們也不能簡單的認爲數據挖掘就是一個「新瓶裝老酒」，畢竟，數據挖掘根據所解決的不一樣類型的問題，把包含統計學在內的各類方法進行了整合和從新設計，造成了一套新的數據分析方法論和框架，在這個框架內，源源不斷的不少人投入進來，這其中主要包含兩類人：一類人是在更新設計新的算法；一類人是在不斷的探索既有的方法在商業中的各類應用。

2、           數據挖掘主要解決的四類問題

數據挖掘很是清晰的界定了它所能解決的幾類問題。這是一個高度的概括，數據挖掘的應用就是把這幾類問題演繹的一個過程。下面讓咱們來看看它所解決的四類問題是如何界定的：

n  分類問題

分類問題屬於預測性的問題，可是它跟普通預測問題的區別在於其預測的結果是類別（如A、B、C三類）而不是一個具體的數值（如5五、6五、75……）。

舉個例子，你和朋友在路上走着，迎面走來一我的，你對朋友說：我猜這我的是個上海人，那麼這個問題就屬於分類問題；若是你對朋友說：我猜這我的的年齡在30歲左右，那麼這個問題就屬於後面要說到的預測問題。

商業案例中，分類問題可謂是最多的：給你一個客戶的相關信息，預測一下他將來一段時間是否會離網？信用度是好/通常/差？是否會使用你的某個產品？未來會成爲你的高/中/低價值的客戶？是否會響應你的某個促銷活動？……。

有一種很特殊的分類問題，那就是「二分」問題，顯而易見，「二分」問題意味着預測的分類結果只有兩個類：如是/否；好/壞；高/低……。這類問題也稱爲0/1問題。之因此說它很特殊，主要是由於解決這類問題時，咱們只需關注預測屬於其中一類的機率便可，由於兩個類的機率能夠互相推導。如預測X=1的機率爲P（X=1），那麼X=0的機率P（X=0）=1-P（X=1）。這一點是很是重要的。

可能不少人已經在關心數據挖掘方法是怎麼預測P（X=1）這個問題的了，其實並不難。解決這類問題的一個大前提就是經過歷史數據的收集，已經明確知道了某些用戶的分類結果，如已經收集到了10000個用戶的分類結果，其中7000個是屬於「1」這類；3000個屬於「0」這類。伴隨着收集到分類結果的同時，還收集了這10000個用戶的若干特徵（指標、變量）。這樣的數據集通常在數據挖掘中被稱爲訓練集，顧名思義，分類預測的規則就是經過這個數據集訓練出來的。訓練的大概思路是這樣的：對全部已經收集到的特徵/變量分別進行分析，尋找與目標0/1變量相關的特徵/變量，而後概括出P（X=1）與篩選出來的相關特徵/變量之間的關係（不一樣方法概括出來的關係的表達方式是各不相同的，如迴歸的方法是經過函數關係式，決策樹方法是經過規則集）。

如需瞭解細節，請查閱：決策樹、Logistic迴歸、判別分析、神經網絡、Inpurity 、Entropy、Chi-square、Gini、Odds、Odds Ratio……等相關知識。

n  聚類問題

聚類問題不屬於預測性的問題，它主要解決的是把一羣對象劃分紅若干個組的問題。劃分的依據是聚類問題的核心。所謂「物以類聚，人以羣分」，故得名聚類。

聚類問題容易與分類問題混淆，主要是語言表達的緣由，由於咱們常說這樣的話：「根據客戶的消費行爲，咱們把客戶分紅三個類，第一個類的主要特徵是……」，實際上這是一個聚類問題，可是在表達上容易讓咱們誤解爲這是個分類問題。分類問題與聚類問題是有本質區別的：分類問題是預測一個未知類別的用戶屬於哪一個類別（至關於作單選題），而聚類問題是根據選定的指標，對一羣用戶進行劃分（至關於作開放式的論述題），它不屬於預測問題。

       聚類問題在商業案例中也是一個很是常見的，例如須要選擇若干個指標（如價值、成本、使用的產品等）對已有的用戶羣進行劃分：特徵類似的用戶聚爲一類，特徵不一樣的用戶分屬於不一樣的類。

       聚類的方法層出不窮，基於用戶間彼此距離的長短來對用戶進行聚類劃分的方法依然是當前最流行的方法。大體的思路是這樣的：首先肯定選擇哪些指標對用戶進行聚類；而後在選擇的指標上計算用戶彼此間的距離，距離的計算公式不少，最經常使用的就是直線距離（把選擇的指標看成維度、用戶在每一個指標下都有相應的取值，能夠看做多維空間中的一個點，用戶彼此間的距離就可理解爲二者之間的直線距離。）；最後聚類方法把彼此距離比較短的用戶聚爲一類，類與類之間的距離相對比較長。

如需瞭解細節，請查閱：聚類分析、系統聚類、K-means聚類、歐氏距離、閔氏距離、馬氏距離等知識。

n  關聯問題

提及關聯問題，可能要從「啤酒和尿布」提及了。有人說啤酒和尿布是沃爾瑪超市的一個經典案例，也有人說，是爲了宣傳數據挖掘/數據倉庫而編造出來的虛構的「託」。無論如何，「啤酒和尿布」給了咱們一個啓示：世界上的萬事萬物都有着千絲萬縷的聯繫，咱們要善於發現這種關聯。

關聯分析要解決的主要問題是：一羣用戶購買了不少產品以後，哪些產品同時購買的概率比較高？買了A產品的同時買哪一個產品的概率比較高？多是因爲最初關聯分析主要是在超市應用比較普遍，因此又叫「購物籃分析」，英文簡稱爲MBA，固然此MBA非彼MBA,意爲Market Basket Analysis。

若是在研究的問題中，一個用戶購買的全部產品假定是同時一次性購買的，分析的重點就是全部用戶購買的產品之間關聯性；若是假定一個用戶購買的產品的時間是不一樣的，並且分析時須要突出時間前後上的關聯，如先買了什麼，而後後買什麼？那麼這類問題稱之爲序列問題，它是關聯問題的一種特殊狀況。從某種意義上來講，序列問題也能夠按照關聯問題來操做。

關聯分析有三個很是重要的概念，那就是「三度」：支持度、可信度、提高度。假設有10000我的購買了產品，其中購買A產品的人是1000個，購買B產品的人是2000個，AB同時購買的人是800個。支持度指的是關聯的產品（假定A產品和B產品關聯）同時購買的人數佔總人數的比例，即800/10000=8%，有8%的用戶同時購買了A和B兩個產品；可信度指的是在購買了一個產品以後購買另一個產品的可能性，例如購買了A產品以後購買B產品的可信度=800/1000=80%，即80%的用戶在購買了A產品以後會購買B產品；提高度就是在購買A產品這個條件下購買B產品的可能性與沒有這個條件下購買B產品的可能性之比，沒有任何條件下購買B產品可能性=2000/10000=20%，那麼提高度=80%/20%=4。

如需瞭解細節，請查閱：關聯規則、apriror算法中等相關知識。

n  預測問題

此處說的預測問題指的是狹義的預測，並不包含前面闡述的分類問題，由於分類問題也屬於預測。通常來講咱們談預測問題主要指預測變量的取值爲連續數值型的狀況。

例如天氣預報預測明天的氣溫、國家預測下一年度的GDP增加率、電信運營商預測下一年的收入、用戶數等？

預測問題的解決更多的是採用統計學的技術，例如迴歸分析和時間序列分析。迴歸分析是一種很是古典並且影響深遠的統計方法，最先是由達爾文的表弟高爾頓在研究生物統計中提出來的方法，它的主要目的是研究目標變量與影響它的若干相關變量之間的關係，經過擬和相似Y=aX1+bX2+……的關係式來揭示變量之間的關係。經過這個關係式，在給定一組X一、X2……的取值以後就能夠預測未知的Y值。

相對來講，用於預測問題的迴歸分析在商業中的應用要遠遠少於在醫學、心理學、天然科學中的應用。最主要的緣由是後者是更偏向於天然科學的理論研究，須要有理論支持的實證分析，而在商業統計分析中，更多的使用描述性統計和報表去揭示過去發生了什麼，或者是應用性更強的分類、聚類問題。

如需瞭解細節，請查閱：一元線性迴歸分析、多元線性迴歸分析、最小二乘法等相關知識。

3、           數據挖掘的應用領域

       數據挖掘一開始就是面向應用而誕生的，前面說到數據挖掘主要解決四大類的問題，若是把這些問題演繹到不一樣的行業，咱們將看到數據挖掘的應用是很是普遍的。

       以咱們常常接觸的移動通訊行業來講，結合前面提到的四大類問題，咱們看看數據挖掘在通訊行業都有哪些應用。

       分類問題：

l  離網預測：預測用戶在將來一段時間內離網的風險。

l  信用申請評分：根據用戶資料評估用戶是否能夠授信（如預付費用戶能夠透支、後付費用戶能夠延長賬期）。

l  信用行爲評分：根據用戶過去的消費行爲特徵評估信用得分高低，便於調整話費透支額度或者付費賬期。

l  定位產品（如彩鈴、WAP、增值數據業務等）目標用戶：構建模型篩選產品營銷的目標用戶羣。

       聚類問題：

l  用戶細分：選擇若干指標把用戶羣聚爲若干個組，組內特徵類似、組間特徵差別明顯。固然用戶細分的方法不少，不必定都是採用聚類方法。聚類的優勢是能夠綜合處理多維變量，缺點是隨之帶來的不易解釋性。一種便於解釋的細分方法是結合業務對用戶羣進行人爲的劃分，習慣上稱爲Pre-Define的方法。這種方法的優勢是便於解釋且應用性強，缺點是對業務要求比較高，劃分邊界比較難定，對多維變量處理有難度。

       關聯問題：

l  交叉銷售：針對用戶已經使用的產品和業務，向其推薦他沒有使用的，但可能有興趣的產品。交叉銷售的問題從某種角度上來也能夠理解爲分類問題，與定位產品目標用戶這個問題比較類似。

       預測問題：

比較成型的應用很少，通常多爲用戶數預測、收入預測等。

4、           什麼是數據挖掘最重要的要素？

回到文章一開始舉的那個案例來講，若是某運營商須要創建一個模型來篩選一部分目前尚未用彩鈴的用戶做爲推廣彩鈴業務的目標用戶，那麼這樣一個任務要取得成功的關鍵要素是什麼呢？是分析人員的思惟模式、分析採用的方法、相關業務知識仍是分析採用的工具？

從技術的角度來看這個問題，能不能得出精準的答案主要取決因而否尋找到與目標（是否使用彩鈴）相關的變量。而影響變量選擇的關鍵並非選擇了不一樣分析方法，而是是否提供了足夠和有效的變量的去供分析方法選擇。也就是說不一樣的分析方法選擇相關變量的能力是相差不大的，關鍵是是否提供了足夠的變量供選擇。

變量的提供取決於變量的收集和設計，影響它最關鍵的兩個因素是：相關業務知識和分析人員的思惟模式。豐富的業務知識是設計有效的相關變量的必要條件。分析人員的思惟模式從另一個方面保障了設計變量的結構化和完整性。麥肯錫公司一個重要的思惟模式就是MECE，即不重疊、不遺漏。這是一個很是要命的觀點，若是都能按照這個模式去思考問題，你會發現解決問題原來也並非那麼困難。

分析人員的業務知識和思惟模式不只僅簡單的影響着變量的設計，還包括整個數據挖掘任務的方案框架設計以及後續的結果應用，在這裏以終爲始的思惟模式又顯得尤其重要。

縱觀其餘要素，分析方法對結果的影響主要體如今結果的解釋性和穩定性上：例如在信用評分應用中，Logistic迴歸的結果就更便於解釋和應用；而決策樹方法對極值、非線性關係的處理就比其餘方法更穩健。

此外，分析工具對結果的影響較小，可是在功能、操做的便利性和效率方面差異也是至關大的。SAS軟件相比SPSS、SPLUS等軟件來講在效率和功能方面有較大的優點。

 

------------------------

海量數據處理與分析

 

近年來搜索引擎營銷在網絡營銷領域愈來愈火熱，不管在歐美髮達地區、仍是在中國等發展國家，搜索引擎營銷都漸漸成爲互聯網營銷的主題。不只是由於搜索引擎的火熱帶動了搜索營銷的發展，更是由於你們在如何作好搜索引擎營銷上各自不一的見解讓搜索引擎營銷越炒越熱。

　　搜索引擎營銷很難麼？未必。搜索引擎營銷是經過關鍵字廣告爲主要呈現方式的廣告形式，關鍵字廣告最多十來字的標題和近百字的內容描述，能承載多少信息呢？關鍵字廣告不管在媒體甄選、創意制定、物料製做、排期調整等方面要比一個傳統的網絡圖片廣告或視頻廣告容易的多。曾經一個朋友想委託我所在的公司管理他們一個二十幾個關鍵字天天幾百元預算的關鍵字賬戶，我給他的建議是：最好的方案是本身管理賬戶，管理效果極可能比僱傭一個專業的第三方SEM公司更好，由於企業更加了解本身所推廣的產品和業務，更瞭解本身的目標受衆的需求，只要瞭解了關鍵字廣告的一些基本規則，企業能更加準確達到所預期的搜索引擎營銷效果。搜索引擎營銷的門檻很低，不須要太多的專業技能和知識，任何一個網絡營銷人員均可以迅速的掌握。

　　搜索引擎營銷很簡單麼？固然不是，搜索引擎營銷是目前我認爲全部營銷方式中最複雜的一個。因爲單一關鍵字廣告的覆蓋面微乎其微，關鍵字的數量及覆蓋範圍就顯得及其的重要，在美國，一個小型的連鎖酒店集團大概天天會投放3-4千個關鍵字，而像一個大型的B2C企業可能擁有上千萬關鍵字的日投放，其中每個關鍵字的營銷宣傳都是一條完整的廣告，天天會生成大量的數據——展現量、點擊量、單位單擊價格、排名位置、質量得分、轉化成本與效果等等，加上須要參考他們之間的各個關鍵比例關係值，一個關鍵字廣告天天都要產生十數個的數據，每一個數據均可能直接影響到關鍵字廣告的最終效果。那麼一個擁有1000個關鍵字的搜索引擎廣告賬戶，天天都會產生十餘萬的廣告數據，單考慮這些數據的管理就已是一個很讓人頭疼的事情了。更況且爲了追求更好的營銷效果，咱們必須爲每個關鍵詞後所隱藏的不一樣類別、不一樣需求的客戶，選擇適合的廣告語言和產品；必須考慮天天因爲競價體系所形成的價格變化；必須考慮到因爲自身和競爭對手的各種營銷行爲對搜索引擎產生的影響等等。這些動態的因素所產生的問題，不會由於你對關鍵字廣告投放的熟練掌握就能夠很好的解決的。

　　經過上面的內容咱們能夠發現，搜索引擎營銷最大的難點就是「量」的問題，因爲每個搜索行爲背後所隱藏的目標受衆的不一樣、搜索興趣與需求的不一樣，再加上沒法準確預測的動態數據，使咱們不可能採用通用的法則來處理好每個投放的關鍵字廣告，而搜索引擎營銷的效果又是由大量單體關鍵字廣告的效果累加而成的，咱們又不得不進行精細化的管理。按照經驗，一個熟練的搜索引擎營銷人員，若是作到真正的精細化操做，大概能夠管理3-5千個關鍵字，可是咱們很難想象一個成熟的電子商務企業須要幾個甚至上百個操做人員來管理這些關鍵字廣告，並隨時按照營銷策略的不斷變化保證他們產出效率的一致性與協調性，所以作好搜索引擎營銷由此來看幾乎是不可能完成的任務。http://www.dmresearch.net/

　　好在隨着計算機數據分析技術的發展，對海量數據的管理與分析變得更加易於掌握，這種計算機分析技術就是數據挖掘。目前咱們所接觸到的數據挖掘成果體現莫過於電信運營商中電話資費套餐的設定，電信運營商利用數據挖掘技術對數以百萬計的電話用戶通話行爲進行分析，爲擁有不一樣通話需求的用戶設計各類類型的資費套餐，在保證用戶粘性的同時最大限度的挖掘用戶的消費潛力。數據挖掘技術能協助人有效地把海量的、互不相同的數據進行整理和彙總，並按照必定的邏輯規則進行分類提取分析，尋找到當中潛在的聯繫與規律，進行業務決策。而當這種技術應用於搜索引擎營銷的時候，就更能展示其強大功效，只要企業創建起明確的搜索引擎營銷策略，對數據趨勢有一個大體的把握，就能夠藉助強大的計算機分析能力對海量的搜索引擎營銷數據進行有針對性的分析和彙總，對每個關鍵字的營銷效果進行有效的監控和調整，再借助必定的營銷規則進行調整後，就作到了真正的精細化管理，搜索營銷的效果天然就得以保證。

　　從以上的分析咱們能夠看到，搜索引擎營銷「量」的問題是難點，海量數據的管理與分析與管理就是搜索引擎營銷的關鍵，但當咱們解決了這個問題的時候，搜索引擎營銷就變得再也不神祕，其餘營銷方式所使用的方法上就沒有多大的差異了。