梯度與激活函數

文章目錄 梯度 初始化的影響 學習率的影響 動量 常見公式求解梯度 激活函數 derivative Sigmoid Logistic Tanh RELU Softmax 梯度 初始化的影響 一樣的網絡，一樣的參數，初始化不一樣，梯度降低的速度不一樣，獲得最小值也不一樣，如上圖。html 學習率的影響 學習率影響收斂的速度，初始狀況下能夠設置的大一些，不收斂在設置的小一些。web 動量 梯度降低的時

>>阅读原文<<