CS231n學習記錄Lec7 Training訓練神經網絡（上）

Lec7 訓練神經網絡（上） 1. Activation Functions激活函數 sigmod function 最原始的激活函數之一，不太建議使用。 飽和時候梯度消失。輸入值很大的時候梯度爲o。（*） sigmod存在的問題：（**） tanh function ReLU function relu的計算更接近於生物神經元放電特性，計算更簡單，收斂速度更快。 不再以零爲中心是一個問題。負半軸

>>阅读原文<<