torch.optim優化算法理解之optim.Adam()

torch.optim是一個實現了多種優化算法的包，大多數通用的方法都已支持，提供了豐富的接口調用，將來更多精煉的優化算法也將整合進來。
爲了使用torch.optim，需先構造一個優化器對象Optimizer，用來保存當前的狀態，並可以根據計算獲得的梯度來更新參數。
要構建一個優化器optimizer，你必須給它一個可進行迭代優化的包含了全部參數（全部的參數必須是變量s）的列表。而後，您能夠指定程序優化特定的選項，例如學習速率，權重衰減等。python

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9) optimizer = optim.Adam([var1, var2], lr = 0.0001) self.optimizer_D_B = torch.optim.Adam(self.netD_B.parameters(), lr=opt.lr, betas=(opt.beta1, 0.999))

Optimizer還支持指定每一個參數選項。只需傳遞一個可迭代的dict來替換先前可迭代的Variable。dict中的每一項均可以定義爲一個單獨的參數組，參數組用一個params鍵來包含屬於它的參數列表。其餘鍵應該與優化器接受的關鍵字參數相匹配，才能用做此組的優化選項。算法

optim.SGD([
                {'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3} ], lr=1e-2, momentum=0.9)

如上，model.base.parameters()將使用1e-2的學習率，model.classifier.parameters()將使用1e-3的學習率。0.9的momentum做用於全部的parameters。
優化步驟：
全部的優化器Optimizer都實現了step()方法來對全部的參數進行更新，它有兩種調用方法：數組

optimizer.step()

這是大多數優化器都支持的簡化版本，使用以下的backward()方法來計算梯度的時候會調用它。閉包

for input, target in dataset: optimizer.zero_grad() output = model(input) loss = loss_fn(output, target) loss.backward() optimizer.step()

optimizer.step(closure)

一些優化算法，如共軛梯度和LBFGS須要從新評估目標函數屢次，因此你必須傳遞一個closure以從新計算模型。 closure必須清除梯度，計算並返回損失。函數

for input, target in dataset: def closure(): optimizer.zero_grad() output = model(input) loss = loss_fn(output, target) loss.backward() return loss optimizer.step(closure)

Adam算法：學習

adam算法來源：Adam: A Method for Stochastic Optimization大數據

Adam(Adaptive Moment Estimation)本質上是帶有動量項的RMSprop，它利用梯度的一階矩估計和二階矩估計動態調整每一個參數的學習率。它的優勢主要在於通過偏置校訂後，每一次迭代學習率都有個肯定範圍，使得參數比較平穩。其公式以下：優化

其中，前兩個公式分別是對梯度的一階矩估計和二階矩估計，能夠看做是對指望E|gt|，E|gt^2|的估計;
公式3，4是對一階二階矩估計的校訂，這樣能夠近似爲對指望的無偏估計。能夠看出，直接對梯度的矩估計對內存沒有額外的要求，並且能夠根據梯度進行動態調整。最後一項前面部分是對學習率n造成的一個動態約束，並且有明確的範圍。spa

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)

參數：.net

params(iterable)：可用於迭代優化的參數或者定義參數組的dicts。 lr (float, optional) ：學習率(默認: 1e-3) betas (Tuple[float, float], optional)：用於計算梯度的平均和平方的係數(默認: (0.9, 0.999)) eps (float, optional)：爲了提升數值穩定性而添加到分母的一個項(默認: 1e-8) weight_decay (float, optional)：權重衰減(如L2懲罰)(默認: 0)

step(closure=None)函數：執行單一的優化步驟 closure (callable, optional)：用於從新評估模型並返回損失的一個閉包

torch.optim.adam源碼：

import math from .optimizer import Optimizer class Adam(Optimizer): def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8，weight_decay=0): defaults = dict(lr=lr, betas=betas, eps=eps,weight_decay=weight_decay) super(Adam, self).__init__(params, defaults) def step(self, closure=None): loss = None if closure is not None: loss = closure() for group in self.param_groups: for p in group['params']: if p.grad is None: continue grad = p.grad.data state = self.state[p] # State initialization if len(state) == 0: state['step'] = 0 # Exponential moving average of gradient values state['exp_avg'] = grad.new().resize_as_(grad).zero_() # Exponential moving average of squared gradient values state['exp_avg_sq'] = grad.new().resize_as_(grad).zero_() exp_avg, exp_avg_sq = state['exp_avg'], state['exp_avg_sq'] beta1, beta2 = group['betas'] state['step'] += 1 if group['weight_decay'] != 0: grad = grad.add(group['weight_decay'], p.data) # Decay the first and second moment running average coefficient exp_avg.mul_(beta1).add_(1 - beta1, grad) exp_avg_sq.mul_(beta2).addcmul_(1 - beta2, grad, grad) denom = exp_avg_sq.sqrt().add_(group['eps']) bias_correction1 = 1 - beta1 ** state['step'] bias_correction2 = 1 - beta2 ** state['step'] step_size = group['lr'] * math.sqrt(bias_correction2) / bias_correction1 p.data.addcdiv_(-step_size, exp_avg, denom) return loss

Adam的特色有：一、結合了Adagrad善於處理稀疏梯度和RMSprop善於處理非平穩目標的優勢; 二、對內存需求較小; 三、爲不一樣的參數計算不一樣的自適應學習率; 四、也適用於大多非凸優化-適用於大數據集和高維空間。