機器學習算法太多了,分類、迴歸、聚類、推薦、圖像識別領域等等,要想找到一個合適算法真的不容易,因此在實際應用中,咱們通常都是採用啓發式學習方式來實驗。一般最開始咱們都會選擇你們廣泛認同的算法,諸如SVM,GBDT,Adaboost,如今深度學習很火熱,神經網絡也是一個不錯的選擇。html
假如你在意精度(accuracy)的話,最好的方法就是經過交叉驗證(cross-validation)對各個算法一個個地進行測試,進行比較,而後調整參數確保每一個算法達到最優解,最後選擇最好的一個。可是若是你只是在尋找一個「足夠好」的算法來解決你的問題,或者這裏有些技巧能夠參考,下面來分析下各個算法的優缺點,基於算法的優缺點,更易於咱們去選擇它。前端
1.天下沒有免費的午飯算法
在機器學習領域,一個基本的定理就是「沒有免費的午飯」。換言之,就是沒有算法能完美地解決全部問題,尤爲是對監督學習而言(例如預測建模)。網絡
舉例來講,你不能去說神經網絡任何狀況下都能比決策樹更有優點,反之亦然。它們要受不少因素的影響,好比你的數據集的規模或結構。架構
其結果是,在用給定的測試集來評估性能並挑選算法時,你應當根據具體的問題來採用不一樣的算法。框架
固然,所選的算法必需要適用於你本身的問題,這就要求選擇正確的機器學習任務。做爲類比,若是你須要打掃房子,你可能會用到吸塵器、掃帚或是拖把,但你絕對不應掏出鏟子來挖地。dom
2. 誤差&方差機器學習
在統計學中,一個模型好壞,是根據誤差和方差來衡量的,因此咱們先來普及一下誤差(bias)和方差(variance):函數
1. 誤差:描述的是預測值(估計值)的指望E’與真實值Y之間的差距。誤差越大,越偏離真實數據。性能
2. 方差:描述的是預測值P的變化範圍,離散程度,是預測值的方差,也就是離其指望值E的距離。方差越大,數據的分佈越分散。
模型的真實偏差是二者之和,如公式:
一般狀況下,若是是小訓練集,高誤差/低方差的分類器(例如,樸素貝葉斯NB)要比低誤差/高方差大分類的優點大(例如,KNN),由於後者會發生過擬合(overfiting)。然而,隨着你訓練集的增加,模型對於原數據的預測能力就越好,誤差就會下降,此時低誤差/高方差的分類器就會漸漸的表現其優點(由於它們有較低的漸近偏差),而高誤差分類器這時已經不足以提供準確的模型了。
爲何說樸素貝葉斯是高誤差低方差?
首先,假設你知道訓練集和測試集的關係。簡單來說是咱們要在訓練集上學習一個模型,而後拿到測試集去用,效果好很差要根據測試集的錯誤率來衡量。但不少時候,咱們只能假設測試集和訓練集的是符合同一個數據分佈的,但卻拿不到真正的測試數據。這時候怎麼在只看到訓練錯誤率的狀況下,去衡量測試錯誤率呢?
因爲訓練樣本不多(至少不足夠多),因此經過訓練集獲得的模型,總不是真正正確的。(就算在訓練集上正確率100%,也不能說明它刻畫了真實的數據分佈,要知道刻畫真實的數據分佈纔是咱們的目的,而不是隻刻畫訓練集的有限的數據點)。
並且,實際中,訓練樣本每每還有必定的噪音偏差,因此若是太追求在訓練集上的完美而採用一個很複雜的模型,會使得模型把訓練集裏面的偏差都當成了真實的數據分佈特徵,從而獲得錯誤的數據分佈估計。這樣的話,到了真正的測試集上就錯的一塌糊塗了(這種現象叫過擬合)。可是也不能用太簡單的模型,不然在數據分佈比較複雜的時候,模型就不足以刻畫數據分佈了(體現爲連在訓練集上的錯誤率都很高,這種現象較欠擬合)。過擬合代表採用的模型比真實的數據分佈更復雜,而欠擬合表示採用的模型比真實的數據分佈要簡單。
在統計學習框架下,你們刻畫模型複雜度的時候,有這麼個觀點,認爲Error = Bias + Variance。這裏的Error大概能夠理解爲模型的預測錯誤率,是有兩部分組成的,一部分是因爲模型太簡單而帶來的估計不許確的部分(Bias),另外一部分是因爲模型太複雜而帶來的更大的變化空間和不肯定性(Variance)。
因此,這樣就容易分析樸素貝葉斯了。它簡單的假設了各個數據之間是無關的,是一個被嚴重簡化了的模型。因此,對於這樣一個簡單模型,大部分場合都會Bias部分大於Variance部分,也就是說高誤差而低方差。
在實際中,爲了讓Error儘可能小,咱們在選擇模型的時候須要平衡Bias和Variance所佔的比例,也就是平衡over-fitting和under-fitting。
當模型複雜度上升的時候,誤差會逐漸變小,而方差會逐漸變大。
3. 常見算法優缺點
3.1 樸素貝葉斯
樸素貝葉斯屬於生成式模型(關於生成模型和判別式模型,主要仍是在因而否須要求聯合分佈),比較簡單,你只需作一堆計數便可。若是注有條件獨立性假設(一個比較嚴格的條件),樸素貝葉斯分類器的收斂速度將快於判別模型,好比邏輯迴歸,因此你只須要較少的訓練數據便可。即便NB條件獨立假設不成立,NB分類器在實踐中仍然表現的很出色。它的主要缺點是它不能學習特徵間的相互做用,用mRMR中R來說,就是特徵冗餘。引用一個比較經典的例子,好比,雖然你喜歡Brad Pitt和Tom Cruise的電影,可是它不能學習出你不喜歡他們在一塊兒演的電影。
優勢:
1. 樸素貝葉斯模型發源於古典數學理論,有着堅實的數學基礎,以及穩定的分類效率;
2. 對大數量訓練和查詢時具備較高的速度。即便使用超大規模的訓練集,針對每一個項目一般也只會有相對較少的特徵數,而且對項目的訓練和分類也僅僅是特徵機率的數學運算而已;
3. 對小規模的數據表現很好,能個處理多分類任務,適合增量式訓練(便可以實時的對新增的樣本進行訓練);
4. 對缺失數據不太敏感,算法也比較簡單,經常使用於文本分類;
5. 樸素貝葉斯對結果解釋容易理解。
缺點:
1. 須要計算先驗機率;
2. 分類決策存在錯誤率;
3. 對輸入數據的表達形式很敏感;
4. 因爲使用了樣本屬性獨立性的假設,因此若是樣本屬性有關聯時其效果很差。
樸素貝葉斯應用領域
1. 欺詐檢測中使用較多;
2. 一封電子郵件是不是垃圾郵件;
3. 一篇文章應該分到科技、政治,仍是體育類;
4. 一段文字表達的是積極的情緒仍是消極的情緒;
5. 人臉識別。
3.2 Logistic Regression(邏輯迴歸)
邏輯迴歸屬於判別式模型,同時伴有不少模型正則化的方法(L0, L1,L2,etc),並且你沒必要像在用樸素貝葉斯那樣擔憂你的特徵是否相關。與決策樹、SVM相比,你還會獲得一個不錯的機率解釋,你甚至能夠輕鬆地利用新數據來更新模型(使用在線梯度降低算法-online gradient descent)。若是你須要一個機率架構(好比,簡單地調節分類閾值,指明不肯定性,或者是要得到置信區間),或者你但願之後將更多的訓練數據快速整合到模型中去,那麼使用它吧。
Sigmoid函數:表達式以下:
優勢:
1. 實現簡單,普遍的應用於工業問題上;
2. 分類時計算量很是小,速度很快,存儲資源低;
3. 便利的觀測樣本機率分數;
4. 對邏輯迴歸而言,多重共線性並非問題,它能夠結合L2正則化來解決該問題;
5. 計算代價不高,易於理解和實現。
缺點:
1. 當特徵空間很大時,邏輯迴歸的性能不是很好;
2. 容易欠擬合,通常準確度不過高;
3. 不能很好地處理大量多類特徵或變量;
4. 只能處理兩分類問題(在此基礎上衍生出來的softmax能夠用於多分類),且必須線性可分;
5. 對於非線性特徵,須要進行轉換。
logistic迴歸應用領域:
1. 用於二分類領域,能夠得出機率值,適用於根據分類機率排名的領域,如搜索排名等;
2. Logistic迴歸的擴展softmax能夠應用於多分類領域,如手寫字識別等;
3. 信用評估;
4. 測量市場營銷的成功度;
5. 預測某個產品的收益;
6. 特定的某天是否會發生地震。
3.3 線性迴歸
線性迴歸是用於迴歸的,它不像Logistic迴歸那樣用於分類,其基本思想是用梯度降低法對最小二乘法形式的偏差函數進行優化,固然也能夠用normal equation直接求得參數的解,結果爲:
而在LWLR(局部加權線性迴歸)中,參數的計算表達式爲:
因而可知LWLR與LR不一樣,LWLR是一個非參數模型,由於每次進行迴歸計算都要遍歷訓練樣本至少一次。
優勢:實現簡單,計算簡單。
缺點:不能擬合非線性數據。
3.4 最近鄰算法——KNN
KNN即最近鄰算法,其主要過程爲:
1. 計算訓練樣本和測試樣本中每一個樣本點的距離(常見的距離度量有歐式距離,馬氏距離等);
2. 對上面全部的距離值進行排序(升序);
3. 選前k個最小距離的樣本;
4. 根據這k個樣本的標籤進行投票,獲得最後的分類類別。
如何選擇一個最佳的K值,這取決於數據。通常狀況下,在分類時較大的K值可以減少噪聲的影響,但會使類別之間的界限變得模糊。一個較好的K值可經過各類啓發式技術來獲取,好比,交叉驗證。另外噪聲和非相關性特徵向量的存在會使K近鄰算法的準確性減少。近鄰算法具備較強的一致性結果,隨着數據趨於無限,算法保證錯誤率不會超過貝葉斯算法錯誤率的兩倍。對於一些好的K值,K近鄰保證錯誤率不會超過貝葉斯理論偏差率。
KNN算法的優勢
1. 理論成熟,思想簡單,既能夠用來作分類也能夠用來作迴歸;
2. 可用於非線性分類;
3. 訓練時間複雜度爲O(n);
4. 對數據沒有假設,準確度高,對outlier不敏感;
5. KNN是一種在線技術,新數據能夠直接加入數據集而沒必要進行從新訓練;
6. KNN理論簡單,容易實現。
缺點
1. 樣本不平衡問題(即有些類別的樣本數量不少,而其它樣本的數量不多)效果差;
2. 須要大量內存;
3. 對於樣本容量大的數據集計算量比較大(體如今距離計算上);
4. 樣本不平衡時,預測誤差比較大。如:某一類的樣本比較少,而其它類樣本比較多;
5. KNN每一次分類都會從新進行一次全局運算;
6. k值大小的選擇沒有理論選擇最優,每每是結合K-折交叉驗證獲得最優k值選擇。
KNN算法應用領域
文本分類、模式識別、聚類分析,多分類領域
3.5 決策樹
決策樹的一大優點就是易於解釋。它能夠毫無壓力地處理特徵間的交互關係而且是非參數化的,所以你沒必要擔憂異常值或者數據是否線性可分(舉個例子,決策樹能輕鬆處理好類別A在某個特徵維度x的末端,類別B在中間,而後類別A又出如今特徵維度x前端的狀況)。它的缺點之一就是不支持在線學習,因而在新樣本到來後,決策樹須要所有重建。另外一個缺點就是容易出現過擬合,但這也就是諸如隨機森林RF(或提高樹boosted tree)之類的集成方法的切入點。另外,隨機森林常常是不少分類問題的贏家(一般比支持向量機好上那麼一丁點),它訓練快速而且可調,同時你無須擔憂要像支持向量機那樣調一大堆參數,因此在之前都一直很受歡迎。
決策樹中很重要的一點就是選擇一個屬性進行分枝,所以要注意一下信息增益的計算公式,並深刻理解它。
信息熵的計算公式以下:
其中的n表明有n個分類類別(好比假設是二類問題,那麼n=2)。分別計算這2類樣本在總樣本中出現的機率
和
,這樣就能夠計算出未選中屬性分枝前的信息熵。
如今選中一個屬性
用來進行分枝,此時分枝規則是:若是
的話,將樣本分到樹的一個分支;若是不相等則進入另外一個分支。很顯然,分支中的樣本頗有可能包括2個類別,分別計算這2個分支的熵
和
,計算出分枝後的總信息熵
,則此時的信息增益
。以信息增益爲原則,把全部的屬性都測試一邊,選擇一個使增益最大的屬性做爲本次分枝屬性。
決策樹自身的優勢
1. 決策樹易於理解和解釋,能夠可視化分析,容易提取出規則;
2. 能夠同時處理標稱型和數值型數據;
3. 比較適合處理有缺失屬性的樣本;
4. 可以處理不相關的特徵;
5. 測試數據集時,運行速度比較快;
6. 在相對短的時間內可以對大型數據源作出可行且效果良好的結果。
缺點
1. 容易發生過擬合(隨機森林能夠很大程度上減小過擬合);
2. 容易忽略數據集中屬性的相互關聯;
3. 對於那些各種別樣本數量不一致的數據,在決策樹中,進行屬性劃分時,不一樣的斷定準則會帶來不一樣的屬性選擇傾向;信息增益準則對可取數目較多的屬性有所偏好(典型表明ID3算法),而增益率準則(CART)則對可取數目較少的屬性有所偏好,但CART進行屬性劃分時候再也不簡單地直接利用增益率盡心劃分,而是採用一種啓發式規則)(只要是使用了信息增益,都有這個缺點,如RF)。
4. ID3算法計算信息增益時結果偏向數值比較多的特徵。
改進措施
1. 對決策樹進行剪枝。能夠採用交叉驗證法和加入正則化的方法;
2. 使用基於決策樹的combination算法,如bagging算法,randomforest算法,能夠解決過擬合的問題。
應用領域
企業管理實踐,企業投資決策,因爲決策樹很好的分析能力,在決策過程應用較多。
3.5.1 ID三、C4.5算法
ID3算法是以信息論爲基礎,以信息熵和信息增益度爲衡量標準,從而實現對數據的概括分類。ID3算法計算每一個屬性的信息增益,並選取具備最高增益的屬性做爲給定的測試屬性。C4.5算法核心思想是ID3算法,是ID3算法的改進,改進方面有:- 用信息增益率來選擇屬性,克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足;- 在樹構造過程當中進行剪枝;- 能處理非離散的數據;- 能處理不完整的數據。
優勢
產生的分類規則易於理解,準確率較高。
缺點
1. 在構造樹的過程當中,須要對數據集進行屢次的順序掃描和排序,於是致使算法的低效;
2. C4.5只適合於可以駐留於內存的數據集,當訓練集大得沒法在內存容納時程序沒法運行。
3.5.2 CART分類與迴歸樹
是一種決策樹分類方法,採用基於最小距離的基尼指數估計函數,用來決定由該子數據集生成的決策樹的拓展形。若是目標變量是標稱的,稱爲分類樹;若是目標變量是連續的,稱爲迴歸樹。分類樹是使用樹結構算法將數據分紅離散類的方法。
優勢
1. 很是靈活,能夠容許有部分錯分紅本,還可指定先驗機率分佈,可以使用自動的成本複雜性剪枝來獲得概括性更強的樹;
2. 在面對諸如存在缺失值、變量數多等問題時CART 顯得很是穩健。
3.6 Adaboosting
Adaboost是一種加和模型,每一個模型都是基於上一次模型的錯誤率來創建的,過度關注分錯的樣本,而對正確分類的樣本減小關注度,逐次迭代以後,能夠獲得一個相對較好的模型。該算法是一種典型的boosting算法,其加和理論的優點可使用Hoeffding不等式得以解釋。
優勢
1. Adaboost是一種有很高精度的分類器;
2. 可使用各類方法構建子分類器,Adaboost算法提供的是框架;
3. 當使用簡單分類器時,計算出的結果是能夠理解的,而且弱分類器的構造極其簡單;
4. 簡單,不用作特徵篩選;
5. 不易發生overfitting。
缺點
對outlier比較敏感。
3.7 SVM支持向量機
支持向量機,一個經久不衰的算法,高準確率,爲避免過擬合提供了很好的理論保證,並且就算數據在原特徵空間線性不可分,只要給個合適的核函數,它就能運行得很好。在動輒超高維的文本分類問題中特別受歡迎。惋惜內存消耗大,難以解釋,運行和調參也有些煩人,而隨機森林卻恰好避開了這些缺點,比較實用。
優勢
1. 能夠解決高維問題,即大型特徵空間;
2. 解決小樣本下機器學習問題;
3. 可以處理非線性特徵的相互做用;
4. 無局部極小值問題;(相對於神經網絡等算法)
5. 無需依賴整個數據;
6. 泛化能力比較強。
缺點
1. 當觀測樣本不少時,效率並非很高;
2. 對非線性問題沒有通用解決方案,有時候很難找到一個合適的核函數;
3. 對於核函數的高維映射解釋力不強,尤爲是徑向基函數;
4. 常規SVM只支持二分類;
5. 對缺失數據敏感。
對於核的選擇也是有技巧的(libsvm中自帶了四種核函數:線性核、多項式核、RBF以及sigmoid核):
第一,若是樣本數量小於特徵數,那麼就不必選擇非線性核,簡單的使用線性核就能夠了;
第二,若是樣本數量大於特徵數目,這時可使用非線性核,將樣本映射到更高維度,通常能夠獲得更好的結果;
第三,若是樣本數目和特徵數目相等,該狀況可使用非線性核,原理和第二種同樣。
對於第一種狀況,也能夠先對數據進行降維,而後使用非線性核,這也是一種方法。
SVM應用領域
文本分類、圖像識別(主要二分類領域,畢竟常規SVM只能解決二分類問題)
3.8 人工神經網絡的優缺點
人工神經網絡的優勢:
1. 分類的準確度高;
2. 並行分佈處理能力強,分佈存儲及學習能力強;
3. 對噪聲神經有較強的魯棒性和容錯能力;
4. 具有聯想記憶的功能,能充分逼近複雜的非線性關係。
人工神經網絡的缺點:
1. 神經網絡須要大量的參數,如網絡拓撲結構、權值和閾值的初始值;
2. 黑盒過程,不能觀察之間的學習過程,輸出結果難以解釋,會影響到結果的可信度和可接受程度;
3. 學習時間過長,有可能陷入局部極小值,甚至可能達不到學習的目的。
人工神經網絡應用領域:
目前深度神經網絡已經應用與計算機視覺,天然語言處理,語音識別等領域並取得很好的效果。
3.9 K-Means聚類
是一個簡單的聚類算法,把n的對象根據他們的屬性分爲k個分割,k< n。算法的核心就是要優化失真函數J,使其收斂到局部最小值但不是全局最小值。
關於K-Means聚類的文章,參見機器學習算法-K-means聚類。關於K-Means的推導,裏面但是有大學問的,蘊含着強大的EM思想。
優勢
1. 算法簡單,容易實現 ;
2. 算法速度很快;
3. 對處理大數據集,該算法是相對可伸縮的和高效率的,由於它的複雜度大約是O(nkt),其中n是全部對象的數目,k是簇的數目,t是迭代的次數。一般k<<n。這個算法一般局部收斂;< p="">
4. 算法嘗試找出使平方偏差函數值最小的k個劃分。當簇是密集的、球狀或團狀的,且簇與簇之間區別明顯時,聚類效果較好。
缺點
1. 對數據類型要求較高,適合數值型數據;
2. 可能收斂到局部最小值,在大規模數據上收斂較慢;
3. 分組的數目k是一個輸入參數,不合適的k可能返回較差的結果;
4. 對初值的簇心值敏感,對於不一樣的初始值,可能會致使不一樣的聚類結果;
5. 不適合於發現非凸面形狀的簇,或者大小差異很大的簇;
6. 對於」噪聲」和孤立點數據敏感,少許的該類數據可以對平均值產生極大影響。
3.10 EM最大指望算法
EM算法是基於模型的聚類方法,是在機率模型中尋找參數最大似然估計的算法,其中機率模型依賴於沒法觀測的隱藏變量。E步估計隱含變量,M步估計其餘參數,交替將極值推向最大。
EM算法比K-means算法計算複雜,收斂也較慢,不適於大規模數據集和高維數據,但比K-means算法計算結果穩定、準確。EM常常用在機器學習和計算機視覺的數據集聚(Data Clustering)領域。
3.11 集成算法(AdaBoost算法)
AdaBoost算法優勢:
1. 很好的利用了弱分類器進行級聯;
2. 能夠將不一樣的分類算法做爲弱分類器;
3. AdaBoost具備很高的精度;
4. 相對於bagging算法和Random Forest算法,AdaBoost充分考慮的每一個分類器的權重。
Adaboost算法缺點:
1. AdaBoost迭代次數也就是弱分類器數目不太好設定,可使用交叉驗證來進行肯定;
2. 數據不平衡致使分類精度降低;
3. 訓練比較耗時,每次從新選擇當前分類器最好切分點。
AdaBoost應用領域:
模式識別、計算機視覺領域,用於二分類和多分類場景
3.12 排序算法(PageRank)
PageRank是google的頁面排序算法,是基於從許多優質的網頁連接過來的網頁,一定仍是優質網頁的迴歸關係,來斷定全部網頁的重要性。(也就是說,一我的有着越多牛X朋友的人,他是牛X的機率就越大。)
PageRank優勢
徹底獨立於查詢,只依賴於網頁連接結構,能夠離線計算。
PageRank缺點
1. PageRank算法忽略了網頁搜索的時效性;
2. 舊網頁排序很高,存在時間長,積累了大量的in-links,擁有最新資訊的新網頁排名卻很低,由於它們幾乎沒有in-links。
3.13 關聯規則算法(Apriori算法)
Apriori算法是一種挖掘關聯規則的算法,用於挖掘其內含的、未知的卻又實際存在的數據關係,其核心是基於兩階段頻集思想的遞推算法 。
Apriori算法分爲兩個階段:
1. 尋找頻繁項集;
2. 由頻繁項集找關聯規則。
算法缺點:
1. 在每一步產生侯選項目集時循環產生的組合過多,沒有排除不該該參與組合的元素;
4. 算法選擇參考
以前筆者翻譯過一些國外的文章,其中有一篇文章中給出了一個簡單的算法選擇技巧:
1. 首當其衝應該選擇的就是邏輯迴歸,若是它的效果不怎麼樣,那麼能夠將它的結果做爲基準來參考,在基礎上與其餘算法進行比較;
2. 而後試試決策樹(隨機森林)看看是否能夠大幅度提高你的模型性能。即使最後你並無把它當作爲最終模型,你也可使用隨機森林來移除噪聲變量,作特徵選擇;
3. 若是特徵的數量和觀測樣本特別多,那麼當資源和時間充足時(這個前提很重要),使用SVM不失爲一種選擇。
一般狀況下:【GBDT>=SVM>=RF>=Adaboost>=Other…】,如今深度學習很熱門,不少領域都用到,它是以神經網絡爲基礎的,目前筆者本身也在學習,只是理論知識不紮實,理解的不夠深刻,這裏就不作介紹了,但願之後能夠寫一片拋磚引玉的文章。
算法當然重要,但好的數據卻要優於好的算法,設計優良特徵是大有裨益的。假如你有一個超大數據集,那麼不管你使用哪一種算法可能對分類性能都沒太大影響(此時就能夠根據速度和易用性來進行抉擇)。
轉自:http://www.elecfans.com/d/920819.html