CTR 預測理論（十一）：神經網絡激活函數優缺點總結

1. 激活函數的定義與作用 在人工神經網絡中，神經元節點的激活函數定義了對神經元輸出的映射，簡單來說，神經元的輸出（例如，全連接網絡中就是輸入向量與權重向量的內積再加上偏置項）經過激活函數處理後再作爲輸出。加拿大蒙特利爾大學的Bengio教授在 ICML 2016 的文章[1]中給出了激活函數的定義：激活函數是映射 h:R→R，且幾乎處處可導。 神經網絡中激活函數的主要作用是提供網絡的非線性建模能

>>阅读原文<<