收藏 | 數據分析師最經常使用的10個機器學習算法！

 

在機器學習領域，有種說法叫作「世上沒有免費的午飯」，簡而言之，它是指沒有任何一種算法能在每一個問題上都能有最好的效果，這個理論在監督學習方面體現得尤其重要。

舉個例子來講，你不能說神經網絡永遠比決策樹好，反之亦然。模型運行被許多因素左右，例如數據集的大小和結構。

所以，你應該根據你的問題嘗試許多不一樣的算法，同時使用數據測試集來評估性能並選出最優項。

固然，你嘗試的算法必須和你的問題相切合，其中的門道即是機器學習的主要任務。打個比方，若是你想打掃房子，你可能會用到吸塵器、掃帚或者拖把，但你確定不會拿把鏟子開始挖坑吧。

對於渴望瞭解機器學習基礎知識的機器學習新人來講，這兒有份數據科學家使用的十大機器學習算法，爲你介紹這十大算法的特性，便於你們更好地理解和應用，快來看看吧。若是你想了解大數據的學習路線，想學習大數據知識以及須要免費的學習資料能夠加羣：784789432.歡迎你的加入。天天下午三點開直播分享基礎知識，晚上20:00都會開直播給你們分享大數據項目實戰。

1. 線性迴歸

線性迴歸多是統計學和機器學習中最知名和最易理解的算法之一。

因爲預測建模主要關注最小化模型的偏差，或者以可解釋性爲代價來作出最準確的預測。 咱們會從許多不一樣領域借用、重用和盜用算法，其中涉及一些統計學知識。

線性迴歸用一個等式表示，經過找到輸入變量的特定權重（B），來描述輸入變量（x）與輸出變量（y）之間的線性關係。

Linear Regression

舉例：y = B0 + B1 * x

給定輸入x，咱們將預測y，線性迴歸學習算法的目標是找到係數B0和B1的值。

可使用不一樣的技術從數據中學習線性迴歸模型，例如用於普通最小二乘和梯度降低優化的線性代數解。

線性迴歸已經存在了200多年，而且已經進行了普遍的研究。 若是可能的話，使用這種技術時的一些經驗法則是去除很是類似（相關）的變量並從數據中移除噪聲。 這是一種快速簡單的技術和良好的第一種算法。

2. 邏輯迴歸

邏輯迴歸是機器學習從統計領域借鑑的另外一種技術。 這是二分類問題的專用方法（兩個類值的問題）。

邏輯迴歸與線性迴歸相似，這是由於二者的目標都是找出每一個輸入變量的權重值。 與線性迴歸不一樣的是，輸出的預測值得使用稱爲邏輯函數的非線性函數進行變換。

邏輯函數看起來像一個大S，並能將任何值轉換爲0到1的範圍內。這頗有用，由於咱們能夠將相應規則應用於邏輯函數的輸出上，把值分類爲0和1（例如，若是IF小於0.5，那麼 輸出1）並預測類別值。

Logistic Regression

因爲模型的特有學習方式，經過邏輯迴歸所作的預測也能夠用於計算屬於類0或類1的機率。這對於須要給出許多基本原理的問題十分有用。

與線性迴歸同樣，當你移除與輸出變量無關的屬性以及彼此很是類似（相關）的屬性時，邏輯迴歸確實會更好。 這是一個快速學習和有效處理二元分類問題的模型。

3. 線性判別分析

傳統的邏輯迴歸僅限於二分類問題。 若是你有兩個以上的類，那麼線性判別分析算法（Linear Discriminant Analysis，簡稱LDA）是首選的線性分類技術。

LDA的表示很是簡單。 它由你的數據的統計屬性組成，根據每一個類別進行計算。 對於單個輸入變量，這包括：

•  每類的平均值。
•  跨全部類別計算的方差。

Linear Discriminant Analysis

LDA經過計算每一個類的判別值並對具備最大值的類進行預測來進行。該技術假定數據具備高斯分佈（鐘形曲線），所以最好先手動從數據中移除異常值。這是分類預測建模問題中的一種簡單而強大的方法。

4. 分類和迴歸樹

決策樹是機器學習的一種重要算法。

決策樹模型可用二叉樹表示。對，就是來自算法和數據結構的二叉樹，沒什麼特別。 每一個節點表明單個輸入變量（x）和該變量上的左右孩子（假定變量是數字）。

Decision Tree

樹的葉節點包含用於進行預測的輸出變量（y）。 預測是經過遍歷樹進行的，當達到某一葉節點時中止，並輸出該葉節點的類值。

決策樹學習速度快，預測速度快。 對於許多問題也常常預測準確，而且你不須要爲數據作任何特殊準備。

5. 樸素貝葉斯

樸素貝葉斯是一種簡單但極爲強大的預測建模算法。

該模型由兩種類型的機率組成，能夠直接從你的訓練數據中計算出來：1）每一個類別的機率; 2）給定的每一個x值的類別的條件機率。 一旦計算出來，機率模型就能夠用於使用貝葉斯定理對新數據進行預測。 當你的數據是數值時，一般假設高斯分佈（鐘形曲線），以即可以輕鬆估計這些機率。

Bayes Theorem

樸素貝葉斯被稱爲樸素的緣由，在於它假設每一個輸入變量是獨立的。 這是一個強硬的假設，對於真實數據來講是不切實際的，但該技術對於大範圍內的複雜問題仍很是有效。

6. K近鄰

KNN算法很是簡單並且很是有效。 KNN的模型用整個訓練數據集表示。 是否是特簡單？

經過搜索整個訓練集內K個最類似的實例（鄰居），並對這些K個實例的輸出變量進行彙總，來預測新的數據點。 對於迴歸問題，新的點多是平均輸出變量，對於分類問題，新的點多是衆數類別值。

成功的訣竅在於如何肯定數據實例之間的類似性。若是你的屬性都是相同的比例，最簡單的方法就是使用歐幾里德距離，它能夠根據每一個輸入變量之間的差直接計算。

K-Nearest Neighbors

KNN可能須要大量的內存或空間來存儲全部的數據，但只有在須要預測時纔會執行計算（或學習）。 你還能夠隨時更新和管理你的訓練集，以保持預測的準確性。

距離或緊密度的概念可能會在高維環境（大量輸入變量）下崩潰，這會對算法形成負面影響。這類事件被稱爲維度詛咒。它也暗示了你應該只使用那些與預測輸出變量最相關的輸入變量。

7. 學習矢量量化

K-近鄰的缺點是你須要維持整個訓練數據集。 學習矢量量化算法（或簡稱LVQ）是一種人工神經網絡算法，容許你掛起任意個訓練實例並準確學習他們。

Learning Vector Quantization

LVQ用codebook向量的集合表示。開始時隨機選擇向量，而後屢次迭代，適應訓練數據集。 在學習以後，codebook向量能夠像K-近鄰那樣用來預測。 經過計算每一個codebook向量與新數據實例之間的距離來找到最類似的鄰居（最佳匹配），而後返回最佳匹配單元的類別值或在迴歸狀況下的實際值做爲預測。 若是你把數據限制在相同範圍（如0到1之間），則能夠得到最佳結果。

若是你發現KNN在您的數據集上給出了很好的結果，請嘗試使用LVQ來減小存儲整個訓練數據集的內存要求。

8. 支持向量機

支持向量機也許是最受歡迎和討論的機器學習算法之一。

超平面是分割輸入變量空間的線。 在SVM中，會選出一個超平面以將輸入變量空間中的點按其類別（0類或1類）進行分離。在二維空間中能夠將其視爲一條線，全部的輸入點均可以被這條線徹底分開。 SVM學習算法就是要找到能讓超平面對類別有最佳分離的係數。

Support Vector Machine

超平面和最近的數據點之間的距離被稱爲邊界，有最大邊界的超平面是最佳之選。同時，只有這些離得近的數據點才和超平面的定義和分類器的構造有關，這些點被稱爲支持向量，他們支持或定義超平面。在具體實踐中，咱們會用到優化算法來找到能最大化邊界的係數值。

SVM多是最強大的即用分類器之一，在你的數據集上值得一試。

9. bagging和隨機森林

隨機森林是最流行和最強大的機器學習算法之一。 它是一種被稱爲Bootstrap Aggregation或Bagging的集成機器學習算法。

bootstrap是一種強大的統計方法，用於從數據樣本中估計某一數量，例如平均值。 它會抽取大量樣本數據，計算平均值，而後平均全部平均值，以便更準確地估算真實平均值。

在bagging中用到了相同的方法，但最經常使用到的是決策樹，而不是估計整個統計模型。它會訓練數據進行多重抽樣，而後爲每一個數據樣本構建模型。當你須要對新數據進行預測時，每一個模型都會進行預測，並對預測結果進行平均，以更好地估計真實的輸出值。

Random Forest

隨機森林是對決策樹的一種調整，相對於選擇最佳分割點，隨機森林經過引入隨機性來實現次優分割。

所以，爲每一個數據樣本建立的模型之間的差別性會更大，但就自身意義來講依然準確無誤。結合預測結果能夠更好地估計正確的潛在輸出值。

若是你使用高方差算法（如決策樹）得到良好結果，那麼加上這個算法後效果會更好。

10. Boosting和AdaBoost

Boosting是一種從一些弱分類器中建立一個強分類器的集成技術。 它先由訓練數據構建一個模型，而後建立第二個模型來嘗試糾正第一個模型的錯誤。 不斷添加模型，直到訓練集完美預測或已經添加到數量上限。

AdaBoost是爲二分類開發的第一個真正成功的Boosting算法，同時也是理解Boosting的最佳起點。 目前基於AdaBoost而構建的算法中最著名的就是隨機梯度boosting。

AdaBoost

AdaBoost常與短決策樹一塊兒使用。 在建立第一棵樹以後，每一個訓練實例在樹上的性能都決定了下一棵樹須要在這個訓練實例上投入多少關注。難以預測的訓練數據會被賦予更多的權重，而易於預測的實例被賦予更少的權重。 模型按順序依次建立，每一個模型的更新都會影響序列中下一棵樹的學習效果。在建完全部樹以後，算法對新數據進行預測，而且經過訓練數據的準確程度來加權每棵樹的性能。

由於算法極爲注重錯誤糾正，因此一個沒有異常值的整潔數據十分重要。

寫在最後

初學者在面對各類各樣的機器學習算法時提出的一個典型問題是「我應該使用哪一種算法？」問題的答案取決於許多因素，其中包括：

•  數據的大小，質量和性質; 
  
•  可用的計算時間; 
  
•  任務的緊迫性; 
  
•  你想要對數據作什麼。

即便是一位經驗豐富的數據科學家，在嘗試不一樣的算法以前，也沒法知道哪一種算法會表現最好。 雖然還有不少其餘的機器學習算法，但這些算法是最受歡迎的算法。 若是你是機器學習的新手，這是一個很好的學習起點。