CS231n學習筆記--2.NN1

1.激活函數對於神經網絡來說是必要的，因爲沒有它，無論有多少層最終都可以化簡爲線性函數； 2.常用激活函數：每個激活函數都是對一個數做操作。 激活函數 圖像 公式 優缺點 sigmoid 1.當輸出接近0或1時對應的導數接近0，這會導致梯度消散； 2.sigmoid的輸出不以0爲中心，這將導致反向傳播時W的gradient要麼是全正，要麼是全負，這將導致權值更新的路徑是一個zig-zag路徑，使收

>>阅读原文<<