Pytorch中的自動求梯度機制和Variable類

　　自動求導機制是每個深度學習框架中重要的性質，免去了手動計算導數，下面用代碼介紹並舉例說明Pytorch的自動求導機制。python

　　首先介紹Variable，Variable是對Tensor的一個封裝，操做和Tensor是同樣的，可是每一個Variable都有三個屬性：Varibale的Tensor自己的.data，對應Tensor的梯度.grad，以及這個Variable是經過什麼方式獲得的.grad_fn，根據最新消息，在pytorch0.4更新後，torch和torch.autograd.Variable如今是同一類。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工做，可是返回的是Tensor。框架

　　咱們擁抱這些新特性，看看Pytorch怎麼進行自動求梯度。函數

1 #encoding:utf-8
2 import torch 3 
4 x = torch.tensor([2.],requires_grad=True) #新建一個tensor,容許自動求梯度,這一項默認是false.
5 y = (x+2)**2 + 3 #y的表達式中包含x,所以y能進行自動求梯度
6 y.backward() 7 print(x.grad)

　　輸出結果是：學習

tensor([8.])

　　這裏添加一個小知識點，即torch.Tensor和torch.tensor的不一樣。兩者都可以生成新的張量，但torch.Tensor()是python類，是默認張量類型torch.FloatTensor()的別名，使用torch.Tensor()會調用構造函數，生成單精度浮點類型的張量。ui

　　而torch.tensor()是函數，其中data能夠是list,tuple,numpy,ndarray,scalar和其餘類型，但只有浮點類型的張量可以自動求梯度。spa

torch.tensor(data, dtype=None, device=None, requires_grad=False)

　　言歸正傳，上一個例子的變量本質上是標量。下面一個例子對矩陣求導。scala

 1 #encoding:utf-8
 2 import torch  3 
 4 x = torch.ones((2,4),requires_grad=True)  5 y = torch.ones((2,1),requires_grad=True)  6 W = torch.ones((4,1),requires_grad=True)  7 
 8 J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對矩陣做乘法
 9 J.backward() 10 print(x.grad) 11 print(y.grad) 12 print(W.grad)

　　輸出結果是：code

tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])