TensorFlow 實現深度網絡--基於梯度的優化

基於梯度的優化就是優化一個函數的最終取值。假設ω是函數的輸入參數，J(ω）是需要優化的函數，那麼基於梯度的優化指的就是改變ω以得到最小化或最大化的J(ω)（通常是最小化J(ω)，最大化可經由最小化算法最小化－J(ω)來實現）。 在具體的深度神經網絡的設計中，通常ω泛指神經網絡中的參數，J(ω） 表示訓練數據集上的損失函數（ LossFunction ）。使用梯度下降優化網絡的大概思路就是尋找一個參

>>阅读原文<<