機器學習5-梯度下降

目的：找出最優解 方法：梯度下降法 需要注意的內容： 1、學習率的選擇 學習率過小會使得在迭代更新權值的過程中，梯度下降過程緩慢。設置過大容易使得訓練模型跨過最優值，從而導致過擬合。 2、自適應學習率的調節 開始時，離目標值很大可以設置較大的學習率，然後逐漸的減少學習率。 不同的參數應該設置不同的學習率，以達到最好的效果。（因材施教） 自適應梯度調節 總結 g:梯度；η：學習率 梯度越大，離遠點越

>>阅读原文<<