深度學習中的優化器

介紹一些深度學習的優化器 參考覃秉豐教程 梯度下降法則 標準梯度下降法：計算所有樣本彙總誤差，根據總誤差來更新權值 隨機梯度下降法：先隨機抽取一個樣本來計算誤差，再根據這個誤差來更新權值 批量梯度下降法：從總樣本中選取一個批次（batch）（例如10000個樣本，隨機選取1中的100個樣本作爲batch），然後計算這個batch的總誤差，再根據這個誤差來更新權值 隨機梯度下降法： 帶Momentu

>>阅读原文<<