今日學習總結(8)

關於激活函數: Relu優點: Relu函數 速度塊:無需計算sigmoid中的指數倒數,relu函數就是max(0, x),計算代價小 減輕梯度消失:在神經網絡反向傳播時,sigmoid函數求梯度之後會逐漸變小,而Relu函數的梯度是一,會減小梯度消失。 稀疏性:可以看到,Relu在輸入小於零時,輸出也爲零,這意味着函數不激活,從而更加稀疏。 全連接層(Fully conected conect
相關文章
相關標籤/搜索