【機器學習】激活函數（Activation Function）

激活函數是模型整個結構中的非線性扭曲力 神經網絡的每層都會有一個激活函數     1、邏輯函數（Sigmoid）： 使用範圍最廣的一類激活函數，具有指數函數形狀，它在物理意義上最爲接近生物神經元。 其自身的缺陷，最明顯的就是飽和性。從函數圖可以看到，其兩側導數逐漸趨近於0，殺死梯度。 函數圖像：   2、正切函數（Tanh）： 非常常見的激活函數。與sigmoid相比，它的輸出均值是0，使得其收斂

>>阅读原文<<