激活函數整理

1. 前言 這裏主要首先要說下爲什麼在深度學習網絡中需要加入激活函數？因爲激活函數是網絡中非線性的來源，去除了該部分之後網絡就只剩下線性運算部分了，而且線性運算的組合疊加也是線性的，最後得到的結果模型也當然可以等價於單層的線性模型了，也爲了能夠適用於複雜的情況，所以需要在網絡中引入非線性單元。 那麼說到了激活函數那麼就先從常見的sigmoid開始談起吧。 2. sigmoid函數 首先，來看看si

>>阅读原文<<