神經網絡反向求導不可導情況處理

神經網絡反向求導不可導情況處理 激活函數不可導 池化不可導 針對平均池化： max池化 激活函數不可導 深度學習算法通常需要進行反向求導，來更新模型的參數，這就要求激活函數滿足處處可導的性質，例如傳統的sigmoid函數等。但是，爲了解決梯度消失等問題提出的relu系列函數卻不滿足處處可導性質。 r e l u ( x ) = m a x ( x , 0 ) relu(x)=max(x,0) re

>>阅读原文<<