神經網絡激活函數？——再從感知機到 logistic regression 和 SVM

激活函數 將神經網絡的輸出非線性化的一種函數。 在計算網絡中，一個節點的激活函數定義了該節點在給定的輸入或輸入的集合下的輸出。 激活函數是用來加入非線性因素的，解決線性模型所不能解決的問題。 （所以激活函數都是非線性函數，比如最常用的 sigmoid、tanh 和 ReLU） 理解爲什麼需要激活函數引入非線性性： 單層感知機：最常用的神經網絡組成單元，用它可以劃出一條線, 把平面分割開 那麼很容易

>>阅读原文<<