人工智能學習筆記5

以下內容來自百度，他人博客等，用於學習，並記錄筆記，若有侵犯到版權，聯繫博主，將立刻刪除     分母 +1 是因爲爲了最大值趨於1而不是更大的值，分母以指數級變化，所以越區域1時，變化越不明顯。這就導致梯度在前面幾層就下降到非常非常小，之後基本起不到訓練的作用。 神經網絡的輸出層一般還是sigmoid函數，因爲他最接近概率輸出分佈     沒有隱含層的神經網絡是沒辦法把特徵抽象的，僅僅是通過像素

>>阅读原文<<