小結：常用激活函數

這裏寫目錄標題 1 sigmoid 1.1 概念 1.2 優點 1.3 缺點 2 tanh 2.1 概念 2.2 優點 2.3 缺點 3 ReLU 3.1 概念 3.2 優點 3.3 缺點 3.4 leakyReLU（PReLU） 參考 1 sigmoid 1.1 概念 1.2 優點 （1）實現非線性變換 （2）梯度容易計算 （3）可以進行數據壓縮 1.3 缺點 雙邊飽和，易出現梯度消失 2 ta

>>阅读原文<<