神經網絡的激活函數

根據學習Stanford university的cs231n課堂視頻，我做了一下總結~ sigmoid 原來挺流行，與大腦神經元的運作很類似 飽和神經元將使得梯度消失。輸入一個絕對值很大的數，其梯度接近於0，通過鏈式法則後會讓梯度流消失，就無法得到反饋 是一個非零中心的函數。梯度更新的效率低 使用了指數函數，計算代價不低 tanh(x)  雙曲正切函數 零均值 絕對值很大的輸入會使梯度消失 ReL

>>阅读原文<<