機器學習 複習二(神經網絡和支持向量機)

激活函數: 反向傳播算法BP: 基於梯度下降策略:由於負梯度方向是函數值下降最快的方向,因此梯度下降法就是沿着負梯度方向搜索最優解。 學習速率:控制着算法每一輪迭代中的更新步長, 太大則容易震盪,太小則收斂速度又會過慢常設置爲 η=0. 1. 全局最小與局部最小:跳出局部極小方法 隨機梯度下降:在計算梯度時加入了隨機因素.於是即便陷入局部極小點?,它計算出 的梯度仍可能不爲零3 這樣就有機會跳出局
相關文章
相關標籤/搜索