深度學習筆記--**函數：sigmoid，maxout

在神經網絡中引入**函數一個重要的原因就是爲了引入非線性。 1.sigmoid 從數學上來看，非線性的Sigmoid函數對中央區的信號增益較大，對兩側區的信號增益小。從神經科學上來看，中央區酷似神經元的興奮態，兩側區酷似神經元的抑制態，因而在神經網絡學習方面，可以將重點特徵推向中央區，將非重點特徵推向兩側區。 函數形式爲。它的優點是輸出範圍爲(0, 1)，所以可以用作輸出層，用輸出值來表示概率。也

>>阅读原文<<