神經網絡激活函數彙總(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)

神經網絡激活函數彙總(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout) 常規 sigmoid 和 tanh sigmoid 特色:能夠解釋,好比將0-1之間的取值解釋成一個神經元的激活率(firing rate)web 缺陷:網絡 有飽和區域,是軟飽和,在大的正數和負數做爲輸入的時候,梯度就會變成零,使得神經元基本不能更新。 只有正數輸出(不是zero-c
相關文章
相關標籤/搜索