權值初始化 - Xavier和MSRA方法

設計好神經網絡結構以及loss function 後，訓練神經網絡的步驟如下： 初始化權值參數 選擇一個合適的梯度下降算法（例如：Adam，RMSprop等） 重複下面的迭代過程： 輸入的正向傳播 計算loss function 的值 反向傳播，計算loss function 相對於權值參數的梯度值 根據選擇的梯度下降算法，使用梯度值更新每個權值參數 初始化 神經網絡的訓練過程是一個迭代的過程，俗

>>阅读原文<<