機器學習面試基礎知識 & 擴展-01

時間 2019-11-30

標籤機器學習面試基礎知識擴展欄目快樂工作简体版

原文原文鏈接

視頻教程的總結和一些自行補充的內容，旨在儘量的理解其原理。html

本文持續更新地址：我的博客機器學習面試基礎知識 & 擴展-01面試

訓練/開發/測試集

Tips

訓練/開發/測試集經驗比例 6：3：1
當數據量超過百萬時，測試集只需約1w（也就是不須要嚴格按照比例增加）
嚴格保證分層取樣

誤差（Bias）/ 方差（Variance）

在忽略噪聲的狀況下，泛化偏差可分解爲誤差、方差兩部分。算法

誤差：度量學習算法的指望預測與真實結果的偏離程度，也叫擬合能力。
方差：度量了一樣大小的訓練集的變更所致使的學習性能的變化，即刻畫了數據擾動形成的影響。

---摘自《機器學習》，周志華網絡

參考：Understanding the Bias-Variance Tradeoff機器學習

分類器函數

Train set error	1%	15%	15%	0.5%
Dev set error	10%	16%	30%	1%
status	high variance	high bias	high bias & high variance	low bias & low variance

誤差：模型的預測偏差率（訓練集中的準確率越大，誤差越大）
方差：模型的泛化能力（開發集中的表現和訓練集的差距大小，差距越大，表明方差越大）

high Bias 意味着模型的分類效果很差，high Variance 意味着模型每每過擬合，不能很好的泛化。性能

咱們一般這樣利用這兩個參數調整咱們的神經網絡，其中部份內容會在本文的後面進一步探討。學習

梯度消失與梯度爆炸

欠擬合和過擬合

簡單分類器示例

上圖從左到右分別是欠擬合、合適的擬合和過擬合三種狀況。測試

過擬合

過擬合是如何產生的？

根本緣由：參數太多，模型複雜度太高，同時數據相對較少，或噪聲相對較多。

整個訓練過程實際上是模型複雜度和過擬合之間的一個權衡，以下圖優化

如何應對過擬合？我以前的一篇譯文提到過：譯文

如何應對過擬合？

結合前文中提到的誤差和方差，咱們有如下經驗：

也就是：

增大訓練數據量 - 最有效的方案
Cross Validation - 數據量不足的狀況下經常使用
Early Stopping - 提前結束訓練過程
正則化（regulation）- 主要是L1和L2正則化
採用 Dropout - 隨機將某些神經元的權重初始化爲零

Cross Validation

回到交叉驗證，根據切分的方法不一樣，交叉驗證分爲下面三種：　　　

簡單交叉驗證

所謂的簡單，是和其餘交叉驗證方法相對而言的。首先，咱們隨機的將樣本數據分爲兩部分（好比： 70%的訓練集，30%的測試集），而後用訓練集來訓練模型，在測試集上驗證模型及參數。接着，咱們再把樣本打亂，從新選擇訓練集和測試集，繼續訓練數據和檢驗模型。最後咱們選擇損失函數評估最優的模型和參數。　

S折交叉驗證

又稱（S-Folder Cross Validation），和第一種方法不一樣，S折交叉驗證會把樣本數據隨機的分紅S份，每次隨機的選擇S-1份做爲訓練集，剩下的1份作測試集。當這一輪完成後，從新隨機選擇S-1份來訓練數據。若干輪（小於S）以後，選擇損失函數評估最優的模型和參數。

留一交叉驗證

又稱（Leave-one-out Cross Validation），它是第二種狀況的特例，此時S等於樣本數N，這樣對於N個樣本，每次選擇N-1個樣原本訓練數據，留一個樣原本驗證模型預測的好壞。此方法主要用於樣本量很是少的狀況。

早停法（Early Stopping）

爲了得到性能良好的神經網絡，網絡定型過程當中須要進行許多關於所用設置（超參數）的決策。超參數之一是定型週期（epoch）的數量：亦即應當完整遍歷數據集多少次（一次爲一個epoch）若是epoch數量太少，網絡有可能發生欠擬合（即對於定型數據的學習不夠充分）；若是epoch數量太多，則有可能發生過擬合（即網絡對定型數據中的「噪聲」而非信號擬合）。

早停法背後的原理其實不難理解：