第一次筆試總結

    sigmoid函數的優點在於，它的輸出映射在（0，1）內，單調連續，非常適合用做輸出層，並且求導比較容易。但是一旦輸入落入飽和區，容易產生梯度消失。梯度小時是指在更新模型參數時採用鏈式求導法則反向求導，越往前梯度越小。最終的結果時到達一定深度後梯度對模型的更新就沒有任何貢獻了。 輸出以0爲中心，收斂速度比sigmoid要快，無法解決梯度消失 f(x)=max(x,0) relu在x<0時硬

>>阅读原文<<