【NLP複習】常用激活函數的比較

一、啥是激活函數？爲啥用激活函數？常用的有哪些？ 啥是激活函數？激活函數是上層節點的輸出和下層節點的輸入之間的一個非線性函數關係。 爲啥用激活函數？要是不用激活函數，不管多少層的神經網絡說白了都是些線性變換的疊加，網絡的逼近能力有限，所以引入非線性函數。 常用的有哪些？早期：sigmoid、tanh；近期：Relu及其改進（Leaky-ReLU、P-ReLU、R-ReLU...）、Maxout 二

>>阅读原文<<