深度學習激活函數 深入淺出 通俗易懂 教你如何選擇合適的激活函數

梯度消失問題 Sigmoid 梯度爆炸問題 ReLU整流 解決梯度消失 死亡ReLU問題,有利有弊 ELU指數 計算成本高 無死亡ReLU問題 Leaky ReLU滲透 微分兩部分都是線性相比ELU 無死亡ReLU問題 SELU擴展指數 沒有梯度消失/爆炸問題 圖看不懂不要緊，把文章看完就肯定理解了。這是一個方便總結的圖 1 概述 本文會介紹六種激活函數，並且比較他們的區別。 1.1 梯度消失問題

>>阅读原文<<