TensorFlow 梯度下降算法

訓練神經網絡時，參數的初始值會很大程度影響最後得到的結果，只有當損失函數爲凸函數時，梯度下降算法才能保證達到全局最優解。 優化點 參數初始值對結果影響很大，隨機初始化 bacth梯度下降 設置學習率：太大參數容易搖擺，太小大大降低優化速度； 正則化 L1正則、L2正則、也可以同時使用。，刻畫模型複雜度，表示所有參數，包括權重和偏置。一般來說模型複雜度只有權重決定。 TensorFlow中有兩種方式

>>阅读原文<<