激活函數 sigmoid、tanh、relu

激活函數（activation functions）的目標是，將神經網絡非線性化。激活函數是連續的（continuous），且可導的（differential）。 連續的：當輸入值發生較小的改變時，輸出值也發生較小的改變； 可導的：在定義域中，每一處都是存在導數； 激活函數 常見的激活函數：sigmoid，tanh，relu。 sigmoid sigmoid是平滑（smoothened）的階梯函數

>>阅读原文<<