神經網絡**函數可視化

在神經網絡中，**函數決定來自給定輸入集的節點的輸出，其中非線性**函數允許網絡複製複雜的非線性行爲。正如絕大多數神經網絡藉助某種形式的梯度下降進行優化，**函數需要是可微分（或者至少是幾乎完全可微分的）。此外，複雜的**函數也許產生一些梯度消失或爆炸的問題。因此，神經網絡傾向於部署若干個特定的**函數（identity、sigmoid、ReLU 及其變體）。 下面是**函數的圖示及其一階導數，圖

>>阅读原文<<