卷積神經網絡CNN的一些基礎概念理解

Relu函數的導數計算 先從最簡單的開始，Relu激活在高等數學上的定義爲連續（局部）不可微的函數，它的公式爲 Relu(x)= x, x>0 0, x≤0 其在x=0處是不可微的，但是在深度學習框架的代碼中爲了解決這個直接將其在x=0處的導數置爲0或1，所以它的導數也就變爲了 δRelu(x)= 1, x>0 0, x<=0 Pooling池化操作的反向梯度傳播 CNN網絡中另外一個不可導的環節

>>阅读原文<<