過擬合、梯度消失、RNN進階

一、過擬合和欠擬合 訓練誤差：指模型在訓練數據集上表現出的誤差。 泛化誤差：指模型在任意一個測試數據樣本上表現出的誤差的期望，並常常通過測試數據集上的誤差來近似。(ML應關注此項) 如何計算訓練誤差或者泛化誤差，可以用損失函數。【損失函數：均方誤差(線性迴歸)、交叉熵損失函數(softmax迴歸)】 驗證集的作用：進行模型選擇。 K折交叉驗證：由於驗證數據集不參與模型訓練，當訓練數據不夠用時，預留

>>阅读原文<<