ReLU Sigmoid and Tanh

ReLU **函數： ReLu使得網絡可以自行引入稀疏性，在沒做預訓練情況下，以ReLu爲**的網絡性能優於其它**函數。 數學表達式： y=max(0,x) Sigmoid **函數： sigmoid **函數在神經網絡學習方面，可以將重點特徵推向中央區，將非重點特徵推向兩側區。 數學表達式（正切函數）： y=(1+exp(−x))−1 導數：f(z)' = f(z)(1 − f(z)) Tan

>>阅读原文<<