轉: 常用激活函數之— Sigmoid & ReLU & Softmax

1. 激活函數 Rectified Linear Unit(ReLU) - 用於隱層神經元輸出 Sigmoid - 用於隱層神經元輸出 Softmax - 用於多分類神經網絡輸出 Linear - 用於迴歸神經網絡輸出（或二分類問題）     ReLU函數計算如下：                                 Sigmoid函數計算如下：                    

>>阅读原文<<