神經網絡概念總結

三種擬合方式： 防止過擬合的三種方式： c0 表示代價函數  也可理解爲 代價函數加上正則化項  正則化項中的n表示樣本個數 w表示權值   爲可調參數 以下各種優化器： 標準梯度下降算法在樣本小的時候可以用 ，隨機梯度下降算法容易引入噪點導致向錯誤的方向下降 ，實際工作中用批量梯度下降算法比較多。 SGD就是隨機梯度下降算法，其中 大家函數的梯度就是代價函數對W求導 在SGD基礎上 做一些優化 

>>阅读原文<<