【apollo】基礎學習之sigmoid函數

【apollo】基礎學習之sigmoid函數 sigmoid 是使用範圍最廣的一類激活函數，具有指數函數形狀，它在物理意義上最爲接近生物神經元。此外，(0, 1) 的輸出還可以被表示作概率，或用於輸入的歸一化，代表性的如Sigmoid交叉熵損失函數。 然而，sigmoid也有其自身的缺陷，最明顯的就是飽和性。從上圖可以看到，其兩側導數逐漸趨近於0 sigmoid 的軟飽和性，使得深度神經網絡在二三

>>阅读原文<<