機器學習領域常用激活函數彙總

前言 這篇博客簡介了一些常見的激活函數，並簡要總結了每個激活函數的缺點。 部分常見激活函數一覽圖：     sigmoid 表達式： 導數： sigmoid激活函數圖像如下： 下面我們來看看sigmoid激活函數有哪些缺點： 在飽和區域存在梯度缺失的問題。 sigmoid是一個非零中心的函數。 表達式較爲複雜，計算複雜度高。 這裏詳細介紹第二個缺點，我們知道在NN的訓練過程中，正向傳播得到損失值會

>>阅读原文<<