李宏毅機器學習二

1.誤差與偏差 高偏差(Bias)對應着欠擬合,高方差(Voriance)對應着過擬合。 對於高偏差,主要的解決方法是正則化,具體可參考上一篇內容。 2.鞍點 在神經網絡中的梯度下降中,梯度爲0的點通常不是全局最優解,也可能會是局部最優解或者鞍點。鞍點就是在某一個範圍內梯度爲0,在這裏梯度下降的速度會變得特別慢。當然也不需要過於糾結這個問題,我們的梯度優化算法如adam,RMSprop等或者強大的
相關文章
相關標籤/搜索