神經網絡激活函數彙總(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)

神經網絡激活函數彙總(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout) 常規 sigmoid 和 tanh sigmoid 特點:可以解釋,比如將0-1之間的取值解釋成一個神經元的激活率(firing rate) 缺陷: 有飽和區域,是軟飽和,在大的正數和負數作爲輸入的時候,梯度就會變成零,使得神經元基本不能更新。 只有正數輸出(不是zero-center
相關文章
相關標籤/搜索