如何從0開始學習大數據挖掘分析？

最近有不少人諮詢，想學習大數據，但不知道怎麼入手，從哪裏開始學習，須要學習哪些東西？對於一個初學者，學習大數據挖掘分析的思路邏輯是什麼？本文就梳理了如何從0開始學習大數據挖掘分析，學習的步驟思路，能夠給你們一個學習的建議。

不少人認爲數據挖掘須要掌握複雜高深的算法，須要掌握技術開發，才能把數據挖掘分析作好，實際上並不是這樣。若是鑽入複雜算法和技術開發，只能讓你走火入魔，越走越費勁，而且效果不大。在公司實際工做中，最好的大數據挖掘工程師必定是最熟悉和理解業務的人。對於大數據挖掘的學習心得，做者認爲學習數據挖掘必定要結合實際業務背景、案例背景來學習，這樣纔是以解決問題爲導向的學習方法。那麼，大致上，大數據挖掘分析經典案例有如下幾種：

1. 預測產品將來一段時間用戶是否會流失，流失狀況怎麼樣；
2. 公司作了某個促銷活動，預估活動效果怎麼樣，用戶接受度如何；
3. 評估用戶信用度好壞；
4. 對現有客戶市場進行細分，到底哪些客戶纔是目標客羣；
5. 產品上線投放市場後，用戶轉化率如何，到底哪些運營策略最有效；
6. 運營作了不少工做，公司資源也投了不少，怎麼提高產品投入產出比；
7. 一些用戶購買了不少商品後，哪些商品同時被購買的概率高；
8. 預測產品將來一年的銷量及收益。。。。

大數據挖掘要作的就是把上述相似的商業運營問題轉化爲數據挖掘問題。

1、如何將商業運營問題轉化爲大數據挖掘問題

那麼，問題來了，咱們該如何把上述的商業運營問題轉化爲數據挖掘問題?能夠對數據挖掘問題進行細分，分爲四類問題：分類問題、聚類問題、關聯問題、預測問題。

一、分類問題

用戶流失率、促銷活動響應、評估用戶度都屬於數據挖掘的分類問題，咱們須要掌握分類的特色，知道什麼是有監督學習，掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經網絡和邏輯迴歸等。

二、聚類問題

細分市場、細分客戶羣體都屬於數據挖掘的聚類問題，咱們要掌握聚類特色，知道無監督學習，瞭解常見的聚類算法，例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。

三、關聯問題

交叉銷售問題等屬於關聯問題，關聯分析也叫購物籃分析，咱們要掌握常見的關聯分析算法：Aprior算法、Carma算法，序列算法等。

四、預測問題

咱們要掌握簡單線性迴歸分析、多重線性迴歸分析、時間序列等。

2、用何種工具實操大數據挖掘

能實現數據挖掘的工具和途徑實在太多，SPSS、SAS、Python、R等等均可以，可是咱們須要掌握哪一個或者說要掌握哪幾個，纔算學會了數據挖掘?這須要看你所處的層次和想要進階的路徑是怎樣的。

第一層級：達到理解入門層次

瞭解統計學和數據庫便可。

第二層級：達到初級職場應用層次

數據庫+統計學+SPSS(也能夠是SPSS代替軟件)

第三層級：達到中級職場應用層次

SAS或R

第四層級：達到數據挖掘師層次

SAS或R+Python(或其餘編程語言)

3、如何利用Python學習大數據挖掘

只要能解決實際問題，用什麼工具來學習數據挖掘都是無所謂，這裏首推Python。那該如何利用Python來學習數據挖掘？須要掌握Python中的哪些知識?

一、Pandas庫的操做

Panda是數據分析特別重要的一個庫，咱們要掌握如下三點：

• pandas 分組計算;
• pandas 索引與多重索引;

索引比較難，可是倒是很是重要的

• pandas 多表操做與數據透視表

二、numpy數值計算

numpy數據計算主要應用是在數據挖掘，對於之後的機器學習，深度學習，這也是一個必須掌握的庫，咱們要掌握如下內容：

• Numpy array理解；
• 數組索引操做；
• 數組計算；
• Broadcasting(線性代數裏面的知識)

三、數據可視化-matplotlib與seaborn

• Matplotib語法

python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像，要搞清楚兩者的關係是什麼，這樣學習起來纔會比較輕鬆。

• seaborn的使用

seaborn是一個很是漂亮的可視化工具。

• pandas繪圖功能

前面說過pandas是作數據分析的，但它也提供了一些繪圖的API。

四、數據挖掘入門

這部分是最難也是最有意思的一部分，要掌握如下幾個部分：

• 機器學習的定義

在這裏跟數據挖掘先不作區別

• 代價函數的定義
• Train/Test/Validate
• Overfitting的定義與避免方法

五、數據挖掘算法

數據挖掘發展到如今，算法已經很是多，下面只需掌握最簡單的，最核心的，最經常使用的算法：

• 最小二乘算法；
• 梯度降低；
• 向量化；
• 極大似然估計；
• Logistic Regression；
• Decision Tree；
• RandomForesr；
• XGBoost；

六、數據挖掘實戰

經過機器學習裏面最著名的庫scikit-learn來進行模型的理解。

以上，就是爲你們理清的大數據挖掘學習思路邏輯。但是，這還僅僅是開始，在通往數據挖掘師與數據科學家路上，還要學習文本處理與天然語言知識、Linux與Spark的知識、深度學習知識等等，咱們要保持持續的興趣來學習數據挖掘。