Batch Normalization(BN)

優點 Batch Normalization（BN）有什麼優點？BN的優點是多個並存，這裏只提一個個人認爲最容易理解的優點和其原因。 訓練時的問題 儘管在講解神經網絡概念的時候，神經網絡的輸入指的是一個向量 。 但在實際訓練中有下面的訓練方式： 隨機梯度下降法（Stochastic Gradient Descent）：用一個樣本的梯度來更新權重。 批量梯度下降法（Batch Gradient De

>>阅读原文<<