深度學習經典優化器Optimizer

什麼是優化器? 就是對梯度進行優化更新的,這樣不僅能使模型找到最優點,而且能大大提升模型收斂速度,當然不同的優化器找到的最優點可能不同,有可能使局部最優點,有可能使全局最優點,這個是決定模型好壞的重要因素之一,所以優化器怎麼選對模型的好壞起着重要的作用。 有哪些流行的優化器? 1、梯度下降算法: 梯度下降最常見的三種變形 BGD,SGD,MBGD,這三種形式的區別就是取決於我們用多少數據來計算目標
相關文章
相關標籤/搜索