信賴域算法原理

提到最優化方法，常見的有梯度降低法（衍生出來的有批梯度降低，隨機梯度降低）、牛頓法（衍生出來了擬牛頓）等。咱們知道，最優化在機器學習中，是爲了優化損失函數，求得其最小值，即爲(mathop {min }limits_theta f({x_theta }))，其中 (theta) 爲損失函數的參數，最優化的目的就是找到最佳的(theta)使得損失函數最小。梯度降低的方法是求出損失函數在某一點的梯度，

>>阅读原文<<