李宏毅機器學習筆記---Optimization

沒有一個Optimization是萬能的!!! Background Knowledge  What is Optimization about? On-line vs Off-line SGD SGD with Momentum(SGDM) 普通SGD可能恰好算出到一個局部最優,然後卡住就不動了;但是加入movement後,前面movement會對後面產生影響,可以跳出局部最優。 Adagrad
相關文章
相關標籤/搜索