1.尋找最小Loss—梯度下降(Gradient Descent)算法原理

Gradient Descent 梯度下降 隨機選取初始點w0，計算該點處的微分（切線斜率），如果切線斜率爲負值，說明該點處loss高於最小loss值，那麼就要取一個比w0大的w值；如果切線斜率爲正值，也說明該點處loss高於最小loss值 ，那麼就要取一個比w0小的w值。 而w0增加多少是取決於-（learning rate * 該點處的微分值），（因爲該點處的微分值與w0的增加減少是相反的，所

>>阅读原文<<