神經網絡：激活函數、過擬合、Drop-out、權重初始化

神經元（權重參數w）的個數就是權重參數w的個數 激活函數： 1.sigmod函數（已廢棄）迭代次數到了一定值導數趨於0，出現梯度消失的問題，這樣w-w0*w中的w0會趨於0使得w的值基本不變，這樣的迭代沒有意義。 2.ReLu函數(受歡迎)：沒有梯度消失的問題，求導簡單，使得梯度下降更加有意義。 過擬合： 神經網絡要泛化能力強纔有用，主要看實際的用途，不是看訓練的時候達到100%，圖1出現過擬合，

>>阅读原文<<