神經網絡中的一些常見概念

神經網絡相關概念 激活函數 Sigmoid函數 雙曲正切函 ReLU函數 損失函數 學習率 過擬合 激活函數 爲啥需要激活函數？在神經網絡中，我們的輸入層通過各個連接上的權值，進行加權求和後傳遞到下一層，這種處理方式往往是呈線性組合的狀態，而我們知道一般線性函數的值域是負無窮到正無窮，也是就是說線性組合的模型缺乏逼近能力，而我們的神經網絡的訓練大多需要一個梯度下降即尋找最小誤差的過程，很顯然，這種

>>阅读原文<<