深度學習（二）梯度計算

文章目錄 梯度介紹 鏈式法則 邏輯迴歸梯度計算 wx矩陣形式推導 梯度介紹 深度學習的訓練本質是優化損失，優化的方式是計算梯度，然後通過優化算法更新參數 ，常見的優化算法SGD/Momentum/Adagrad/RMSProp/Adam等，本文總結一下梯度的計算。 鏈式法則 利用微分求梯度的方法計算量太大，而誤差反向傳播算法的出現提高了計算效率，誤差反向傳播算法(BP)主要基於鏈式法則。 鏈式法則

>>阅读原文<<