深度學習與PyTorch筆記20

**函數 sigmoid 壓縮0到1，特別適合probability和RGB的像素重建。 容易存在梯度離散。 tanh sigmoid函數的縮放平移，壓縮-1到1，中間的梯度範圍更大。也會存在梯度離散現象，但是在RNN中用的較多。 relu 在一定程度上解決了sigmoid函數的梯度離散現象。大於0時梯度爲1，計算方便。有時也會出現梯度離散，這時需要彌補小於0的部分， x < 0 , y =

>>阅读原文<<