深度學習中激活函數的選擇

爲什麼引入非線性激活函數 如果不使用非線性的激活函數，無論疊加多少層，最終的輸出依然只是輸入的線性組合。 引入非線性的激活函數，使得神經網絡可以逼近任意函數。 常用激活函數 sigmoid函數 σ(z)=11+e−z σ(z)′=σ(z)(1−σ(z)) sigmoid函數是最常見的激活函數，常用於輸出層。其值域爲0到1。 tanh雙曲正切函數 g(z)=ez−e−zez+e−z g(z)′=1−

>>阅读原文<<