深度學習之常用激活函數

引言 激活函數的目標是，將神經網絡非線性化。激活函數是連續的且可導的。 連續的：當輸入值發生較小的改變時，輸出值也發生較小的改變； 可導的：在定義域中，每一處都是存在導數； 常見的激活函數：sigmoid，tanh，relu。 sigmoid sigmoid是平滑的階梯函數，可導。sigmoid可以將任何值轉換爲0~1概率，用於二分類。 當使用sigmoid作爲激活函數時，隨着神經網絡隱含層（hi

>>阅读原文<<