CV第六講—激活函數與BN

一、知識梳理 二、激活函數 1）關於simgoid函數中心非零的問題：中心非零：導致的結果是參數更新的梯度方向恆正或者恆負。 （1）首先，先說明網絡計算的公式： （2）求解梯度： （3）分析梯度各部分——第一部分J/L，由下式可知此項可正可負（主要看差值）  （4）分析梯度各部分——第二部分L/f（有下圖可知此部分恆正） （5）分析梯度各部分——第二部分x 由下圖可知sigmoid函數的輸出始終爲

>>阅读原文<<