DL的激活函數和代價函數

這裏寫目錄標題 一、代價函數 二、激活函數 一、代價函數 1.均方誤差 2.交叉熵 二、激活函數 隱藏層常使用的兩個激活函數Relu和tanh 優 缺 tanh zero-centered，w更新不會只有一個方向 梯度消失和爆炸的問題沒有解決 Relu 不會發生梯度消失 1.非zero-centered,w的更新方向只有一個；2.Dead ReLU Problem，指的是某些神經元可能永遠不會被激

>>阅读原文<<