爲何sigmoid會形成梯度消失？

這裏僅僅作一些數學上的簡單分析，首先看sigmoid的公式：3d 它的導數：code 的圖像以下：blog 也就是說任何輸入都會被縮放到0到1，若是隱層的全部layer都使用sigmoid，除了第一層的輸入，最後一層的輸出，其餘層的輸入輸出都是0到1，看看的完整圖像：數學 z大概在-5到5之間，纔有值，而除第一層隱層的輸入都在0到1之間，因此的圖像以下：class 最終取值大概0.2到0.25之間

>>阅读原文<<