今日學習總結（8）

關於激活函數： Relu優點： Relu函數 速度塊：無需計算sigmoid中的指數倒數，relu函數就是max(0, x),計算代價小 減輕梯度消失：在神經網絡反向傳播時，sigmoid函數求梯度之後會逐漸變小，而Relu函數的梯度是一，會減小梯度消失。 稀疏性：可以看到，Relu在輸入小於零時，輸出也爲零，這意味着函數不激活，從而更加稀疏。 全連接層（Fully conected conect

>>阅读原文<<