迴歸|深度學習（李宏毅）筆記（一）

1. 偏差和方差 欠擬合的loss主要來自偏差 過擬合的loss主要來自方差 應對大的偏差的方法： 增加更多特徵作爲輸入 使用更復雜的模型 應對大的方差的方法： 更多數據 正則化 k折交叉驗證 2. 梯度下降 Adagrad 二次微分大的點梯度雖然大但是可能會比梯度小的點離極值點更近，因此學習率需要考慮二次微分的影響，除以所有梯度的均方根是爲了近似表示二次微分。 RMSProp 類比Adagrad

>>阅读原文<<