幾類常見的激活函數——$ReLU$函數、$sigmiod$ 函數、$tanh$ 函數

背景介紹： 對於常見線性迴歸和 s o f t m a x softmax softmax 單層神經網絡，在深度學習中的多層神經網絡都可以對帶有隱藏層的多層感知機，其中的一至多個隱藏層經過非線性變換等價於一個單層的神經網絡；常⽤的激活函數包括 R e L U ReLU ReLU 函數、 s i g m o i d sigmoid sigmoid 函數和 t a n h tanh tanh 函數。

>>阅读原文<<