Deep Learning基礎--26種神經網絡激活函數可視化

  在神經網絡中，激活函數決定來自給定輸入集的節點的輸出，其中非線性激活函數容許網絡複製複雜的非線性行爲。正如絕大多數神經網絡藉助某種形式的梯度降低進行優化，激活函數須要是可微分（或者至少是幾乎徹底可微分的）。此外，複雜的激活函數也許產生一些梯度消失或爆炸的問題。所以，神經網絡傾向於部署若干個特定的激活函數（identity、sigmoid、ReLU 及其變體）。html 下面是 26 個激活函數

>>阅读原文<<