機器學習基礎學習筆記（十）激活函數---- 網絡的表示能力、學習能力

以下內容均爲https//nndl.github.io/nndl-book.pdf的學習筆記。 激活函數 性質 爲了增強網絡的表示能力和學習能力，激活函數需要具備以下幾點性質： （1） 連續並可導（允許少數點上不可導）的非線性函數．可導的激活函數可以直接利用數值優化的方法來學習網絡參數． （2） 激活函數及其導函數要儘可能的簡單，有利於提高網絡計算效率． （3） 激活函數的導函數的值域要在一個合適

>>阅读原文<<