激活函數Activation Function

目錄   激活函數 常見的激活函數 Sigmoid Tanh ReLU Leaky ReLU Softmax 結論 激活函數 神經網絡從信息處理角度對人腦神經元進行抽象，是一種運算模型，由大量的節點（神經元）之間相互連接構成。下圖是一個神經元的實例圖，對一個神經元來說，對輸入向量x進行加權求和，權重爲W，偏置量爲b，得到線性輸出爲，然後將求和結果z作爲一個激活函數f的輸入，激活函數的輸出爲該神經元

>>阅读原文<<