optimizer各種優化器

optimizer 優化算法通常只考慮最小化目標函數。其實，任何最大化問題都可以很容易地轉化爲最小化問題。 很多優化問題並不存在解析解，而需要使用基於數值方法的優化算法找到近似解，即數值解。 爲了求得最小化目標函數的數值解，我們將通過優化算法有限次迭代模型參數來儘可能降低損失函數的值。 深度學習模型的目標函數可能有若干局部最優值。當一個優化問題的數值解在局部最優解附近時，由於目標函數有關解的梯度接

>>阅读原文<<