神經網絡訓練細節part1

神經網絡的訓練步驟。 神經網絡的理解 激活函數的直接理解 sigmod函數作爲激活函數的第一個問題：     梯度彌散（因爲如果到了飽和區域 則梯度趨近於0）     輸出結果不關於零點對稱     計算複雜度較高 tan(h(x))作爲激活函數的問題： 學習率太高容易導致一種問題就是：容易使得某些神經元不會被數據集中任何數據所激活。這些神經元就像你整個神經網絡中死去的部分。 解決方法： 什麼激活

>>阅读原文<<