激活函數(Activation Functions)概述

Activation Function 在神經元中，輸入的 inputs 通過加權，求和後，還被作用了一個函數，這個函數就是激活函數 Activation Function。神經網絡中使用激活函數來加入非線性因素，提高模型的表達能力。 Activation Function性質 可微性：計算梯度時必須要有此性質。 非線性：保證數據非線性可分。 單調性：保證凸函數。 輸出值與輸入值相差不會很大：保證

>>阅读原文<<