激活函數

1. Sigmoid 非線性 f(x)=11+e−x 能夠把輸入的連續實值「壓縮」到0和1之間 缺點：容易出現飽和性 2. tanh 非線性 tanh(x)=2sigmoid(2x)−1 能夠把輸入的連續實值「壓縮」到-1和1之間 缺點：容易出現飽和性 3. ReLU 非線性 f(x)=max(0,x) 能夠把輸入的連續實值輸出到0和正無窮之間 缺點：當x小於0時，會出現飽和性 4. Leaky-

>>阅读原文<<