神經網絡——損失函數與激活函數的選擇及各自優缺點

DNN可以使用的損失函數和激活函數不少。這些損失函數和激活函數如何選擇呢？下面我們就對DNN損失函數和激活函數的選擇做一個總結。 1. 梯度消失與梯度爆炸 我們設第一層卷積的參數爲 ( W 1 , b 1 ) (W_1, b_1) (W1​,b1​)第二層卷積的參數是， ( W 2 , b 2 ) (W_2, b_2) (W2​,b2​)依次類推。又設激活函數爲 f f f，每一層卷積在經過激活函

>>阅读原文<<