ReLU爲什麼比Sigmoid效果好

附：雙曲函數類似於常見的(也叫圓函數的)三角函數。基本雙曲函數是雙曲正弦"sinh"，雙曲餘弦"cosh"，從它們導出雙曲正切"tanh" sigmod函數：   Relu函數： 綜合：   @作者：約翰曰不約  爲什麼通常Relu比sigmoid和tanh強，有什麼不同？ 主要是因爲它們gradient特性不同。sigmoid和tanh的gradient在飽和區域非常平緩，接近於0，很容易造成v

>>阅读原文<<