算法概述

結合之前的學習經驗，現在總結一下項目中線性迴歸會使用到的各類算法： Adam算法：Adam 算法和傳統的隨機梯度下降不同。隨機梯度下降保持單一的學習率（即 alpha）更新所有的權重，學習率在訓練過程中並不會改變。而 Adam 通過計算梯度的一階矩估計和二階矩估計而爲不同的參數設計獨立的自適應性學習率。也就是說在更新權重時，Adam算法會根據數據特點利用概率分佈更新學習率。 激活函數Softplu

>>阅读原文<<