經常使用優化算法

先定義什麼是優化，優化是求損失最小值狀況下的參數。這裏的調參不包括超參數，超參數怎麼調能夠參考。

1.梯度降低算法

小批量隨機梯度降低（mini-batch stochastic gradient descent）在深度學習中被普遍使用。

它的算法很簡單：

　　先選取一組模型參數的初始值，如隨機選取；

　　接下來對參數進行屢次迭代，使每次迭代均可能下降損失函數的值。

　　在每次迭代中，先隨機均勻採樣一個由固定數目訓練數據樣本所組成的小批量（mini-batch）B，

　　而後求小批量中數據樣本的平均損失模型，參數的導數（梯度），

　　最後用此結果與預設的一個正數的乘積，做爲模型參數在本次迭代的減少量。

 

2.

3.牛頓法

 

 

 

參考：

https://trickygo.github.io/Dive-into-DL-TensorFlow2.0/#/chapter03_DL-basics/3.1_linear-regression?id=_3121-%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e5%9b%be