欠擬合和過擬合出現緣由及解決方案

機器學習的基本問題是利用模型對數據進行擬合，學習的目的並不是是對有限訓練集進行正確預測，而是對不曾在訓練集合出現的樣本可以正確預測。模型對訓練集數據的偏差稱爲經驗偏差，對測試集數據的偏差稱爲泛化偏差。模型對訓練集之外樣本的預測能力就稱爲模型的泛化能力，追求這種泛化能力始終是機器學習的目標

過擬合(overfitting)和欠擬合(underfitting)是致使模型泛化能力不高的兩種常見緣由，都是模型學習能力與數據複雜度之間失配的結果。「欠擬合」經常在模型學習能力較弱，而數據複雜度較高的狀況出現，此時模型因爲學習能力不足，沒法學習到數據集中的「通常規律」，於是致使泛化能力弱。與之相反，「過擬合」經常在模型學習能力過強的狀況中出現，此時的模型學習能力太強，以致於將訓練集單個樣本自身的特色都能捕捉到，並將其認爲是「通常規律」，一樣這種狀況也會致使模型泛化能力降低。過擬合與欠擬合的區別在於，欠擬合在訓練集和測試集上的性能都較差，而過擬合每每能較好地學習訓練集數據的性質，而在測試集上的性能較差。在神經網絡訓練的過程當中，欠擬合主要表現爲輸出結果的高誤差，而過擬合主要表現爲輸出結果的高方差

圖示

欠擬合

欠擬合出現緣由

1. 模型複雜度太低
   
2. 特徵量過少

欠擬合的狀況比較容易克服，常看法決方法有

1. 增長新特徵，能夠考慮加入進特徵組合、高次特徵，來增大假設空間
   
2. 添加多項式特徵，這個在機器學習算法裏面用的很廣泛，例如將線性模型經過添加二次項或者三次項使模型泛化能力更強
   
3. 減小正則化參數，正則化的目的是用來防止過擬合的，可是模型出現了欠擬合，則須要減小正則化參數
   
4. 使用非線性模型，好比核SVM 、決策樹、深度學習等模型
   
5. 調整模型的容量(capacity)，通俗地，模型的容量是指其擬合各類函數的能力
   
6. 容量低的模型可能很難擬合訓練集；使用集成學習方法，如Bagging ,將多個弱學習器Bagging

過擬合

過擬合出現緣由

1. 建模樣本選取有誤，如樣本數量太少，選樣方法錯誤，樣本標籤錯誤等，致使選取的樣本數據不足以表明預約的分類規則
   
2. 樣本噪音干擾過大，使得機器將部分噪音認爲是特徵從而擾亂了預設的分類規則
   
3. 假設的模型沒法合理存在，或者說是假設成立的條件實際並不成立
   
4. 參數太多，模型複雜度太高
   
5. 對於決策樹模型，若是咱們對於其生長沒有合理的限制，其自由生長有可能使節點只包含單純的事件數據(event)或非事件數據(no event)，使其雖然能夠完美匹配（擬合）訓練數據，可是沒法適應其餘數據集
   
6. 對於神經網絡模型：a)對樣本數據可能存在分類決策面不惟一，隨着學習的進行,，BP算法使權值可能收斂過於複雜的決策面；b)權值學習迭代次數足夠多(Overtraining)，擬合了訓練數據中的噪聲和訓練樣例中沒有表明性的特徵

過擬合的解決方案

1. 正則化（Regularization）（L1和L2）
   
2. 數據擴增，即增長訓練數據樣本
   
3. Dropout
   
4. Early stopping

正則化

在模型訓練的過程當中，須要下降 loss 以達到提升 accuracy 的目的。此時，使用正則化之類的方法直接將權值的大小加入到 loss 裏，在訓練的時候限制權值變大。訓練過程須要下降總體的 loss，這時候，一方面能下降實際輸出與樣本之間的偏差，也能下降權值大小

正則化方法包括 \(L0\) 正則、 \(L1\) 正則和 \(L2\) 正則，而正則通常是在目標函數以後加上對於的範數。可是在機器學習中通常使用 \(L2\) 正則:
\[ C = C_0 + \frac{\lambda}{2n} . \sum_i w_i^2 \]

\(L2\) 範數是指向量各元素的平方和而後求平方根。可使得 \(W\) 的每一個元素都很小，都接近於0，但不會讓它等於0，而是接近於0。 \(L2\) 正則項起到使得參數 \(W\) 變小加重的效果，關於它爲何能防止過擬合簡答的理解爲：更小的參數值 \(W\) 意味着模型的複雜度更低，對訓練數據的擬合剛恰好，不會過度擬合訓練數據，從而使得不會過擬合，以提升模型的泛化能力

數據擴增

這是解決過擬合最有效的方法，只要給足夠多的數據，讓模型「看見」儘量多的「例外狀況」，它就會不斷修正本身，從而獲得更好的結果

如何獲取更多數據，能夠有如下幾個方法

1. 從數據源頭獲取更多數據
   
2. 根據當前數據集估計數據分佈參數，使用該分佈產生更多數據：這個通常不用，由於估計分佈參數的過程也會代入抽樣偏差
   
3. 數據加強（Data Augmentation）：經過必定規則擴充數據。如在物體分類問題裏，物體在圖像中的位置、姿態、尺度，總體圖片明暗度等都不會影響分類結果。咱們就能夠經過圖像平移、翻轉、縮放、切割等手段將數據庫成倍擴充

Dropout

在訓練時，每次隨機（如50%機率）忽略隱層的某些節點；這樣，咱們至關於隨機從 \(2^n\)(n個神經元的網絡) 個模型中採樣選擇模型

Early stopping

Early stopping即是一種迭代次數截斷的方法來防止過擬合的方法，即在模型對訓練數據集迭代收斂以前中止迭代來防止過擬合

具體作法是，在每個Epoch結束時計算validation data的accuracy，當accuracy再也不提升時，就中止訓練。固然咱們並不會在accuracy一下降的時候就中止訓練，由於可能通過這個Epoch後，accuracy下降了，可是隨後的Epoch又讓accuracy又上去了，因此不能根據一兩次的連續下降就判斷再也不提升。通常的作法是，在訓練的過程當中，記錄到目前爲止最好的validation accuracy，當連續10次Epoch（或者更屢次）沒達到最佳accuracy時，則能夠認爲accuracy再也不提升了。此時即可以中止迭代了（Early Stopping）。這種策略也稱爲「No-improvement-in-n」，n即Epoch的次數，能夠根據實際狀況取，如十、20、30……

參考文獻
百度百科--欠擬合
百度百科--過擬合
深度學習中過擬合與防止過擬合的方法