BP中權值更新

ReLU 的缺點： 訓練的時候很」脆弱」，很容易就」die」了 例如，一個非常大的梯度流過一個 ReLU 神經元，更新過參數之後，這個神經元再也不會對任何數據有激活現象了，那麼這個神經元的梯度就永遠都會是 0. 如果 learning rate 很大，那麼很有可能網絡中的 40% 的神經元都」dead」了。 BP算法中： 有時是 有時是： 這是根據損失函數而定的。以平方損失來說，若損失函數（誤差函

>>阅读原文<<