深度學習--傳統神經網絡

神經網絡的起源：線性迴歸 什麼是線性迴歸 什麼是線性迴歸 線性迴歸是指用線性關係來描述輸入到輸出的映射關係。 線性迴歸的優化方法：梯度下降 梯度下降的步驟 梯度下降的總結 線性迴歸的延伸 常見的非線性激勵函數 Sigmoid函數 在y=1和-1之間，梯度約爲0 ，梯度就不會更新 tahn函數 缺點類似於sigmiod函數。 ReLU函數 神經網絡中90%是用到relu函數，梯度等於1，不會出現梯度

>>阅读原文<<