深度學習預訓練

1 非線性激勵函數 sigmoid: 11+e−x11+e−x tanh: tanhtanh softplus: log(1+ex)log(1+ex) Relu: max(x,0)max(x,0)   1.1 作用 對於無非線性激勵函數情況，每一層網絡輸出都爲線性函數，可驗證無論神經網絡層數多少，輸出都是輸入的線性組合，意味着單層網絡也可實現，這也是最原始的感知機。  引入非線性激勵函數，使得深層

>>阅读原文<<