神經網絡的幾個常用的激活函數及其公式

首先我們要明白激活函數的作用是:簡而言之，增加模型的非線性表達能力。爲什麼能增加非線性能力，看參考地址。 幾大激活函數的具體公式如上圖。 如上所示，sigmoid只會輸出正數，以及它靠近0的輸出變化率最大。tanh與sigmoid不同的是，tanh輸出可以是負數。Relu是輸入只能大於0，如果你輸入含有負數，Relu就不合適，如果你的輸入是圖片格式，Relu就挺常用的。 參考地址:https://

>>阅读原文<<