『PyTorch』第七彈_nn.Module擴展層

有下面代碼能夠看出torch層函數(nn.Module)用法，使用超參數實例化層函數類(常位於網絡class的__init__中)，而網絡class實際上就是一個高級的遞歸的nn.Module的class。

 

一般

torch.nn的核心數據結構是Module，它是一個抽象概念，既能夠表示神經網絡中的某個層（layer），也能夠表示一個包含不少層的神經網絡。

在實際使用中，最多見的作法是繼承nn.Module，撰寫本身的網絡/層。

• 自定義層Linear必須繼承nn.Module，而且在其構造函數中需調用nn.Module的構造函數，即super(Linear, self).__init__() 或nn.Module.__init__(self)，推薦使用第一種用法。
• 在構造函數__init__中必須本身定義可學習的參數，並封裝成Parameter，如在本例中咱們把w和b封裝成parameter。parameter是一種特殊的Variable，但其默認須要求導（requires_grad = True）。
• forward函數實現前向傳播過程，其輸入能夠是一個或多個variable，對x的任何操做也必須是variable支持的操做。
• 無需寫反向傳播函數，因其前向傳播都是對variable進行操做，nn.Module可以利用autograd自動實現反向傳播，這點比Function簡單許多。
• 使用時，直觀上可將layer當作數學概念中的函數，調用layer(input)便可獲得input對應的結果。它等價於layers.__call__(input)，在__call__函數中，主要調用的是 layer.forward(x)，另外還對鉤子作了一些處理。因此在實際使用中應儘可能使用layer(x)而不是使用layer.forward(x)。
• Module中的可學習參數能夠經過named_parameters()或者parameters()返回迭代器，前者會給每一個parameter都附上名字，使其更具備辨識度。

Module可以自動檢測到本身的Parameter，並將其做爲學習參數。

可見利用Module實現的全鏈接層，比利用Function實現的更爲簡單，因其再也不須要寫反向傳播函數。

import torch as t
from torch import nn
from torch.autograd import Variable as V

class Linear(nn.Module):
    def __init__(self, in_features, out_features):
        # nn.Module.__init__(self)
        super(Linear, self).__init__()
        self.w = nn.Parameter(t.randn(in_features, out_features)) # nn.Parameter是特殊Variable
        self.b = nn.Parameter(t.randn(out_features))
        
    def forward(self, x):
        x = x.mm(self.w)
        return x + self.b

layer = Linear(4, 3)
input = V(t.randn(2, 4))
output = layer(input)
print(output)

for name, Parameter in layer.named_parameters():
    print(name, Parameter)

Variable containing:
 4.1151  2.4139  3.5544
-0.4792 -0.9400 -7.6010
[torch.FloatTensor of size 2x3]

w Parameter containing:
 1.1856  0.9246  1.1707
 0.2632 -0.1697  0.7543
-0.4501 -0.2762 -3.1405
-1.1943  1.2800  1.0712
[torch.FloatTensor of size 4x3]

b Parameter containing:
 1.9577
 1.8570
 0.5249
[torch.FloatTensor of size 3]

 

遞歸

除了parameter以外，Module還包含子Module，主Module可以遞歸查找子Module中的parameter。

• 構造函數__init__中，可利用前面自定義的Linear層(module)，做爲當前module對象的一個子module，它的可學習參數，也會成爲當前module的可學習參數。
• 在前向傳播函數中，咱們有意識地將輸出變量都命名成x，是爲了能讓Python回收一些中間層的輸出，從而節省內存。但並非全部都會被回收，有些variable雖然名字被覆蓋，但其在反向傳播仍須要用到，此時Python的內存回收模塊將經過檢查引用計數，不會回收這一部份內存。

module中parameter的命名規範：

• 對於相似self.param_name = nn.Parameter(t.randn(3, 4))，命名爲param_name
• 對於子Module中的parameter，會其名字以前加上當前Module的名字。如對於self.sub_module = SubModel()，SubModel中有個parameter的名字叫作param_name，那麼兩者拼接而成的parameter name 就是sub_module.param_name。

下面再來看看稍微複雜一點的網絡，多層感知機：

class Perceptron (nn.Module):
    def __init__(self, in_features, hidden_features, out_features):
        nn.Module.__init__(self)
        self.layer1 = Linear(in_features, hidden_features)
        self.layer2 = Linear(hidden_features, out_features)
        
    def forward(self, x):
        x = self.layer1(x)
        x = t.sigmoid(x)
        return self.layer2(x)

per = Perceptron(3, 4, 1)
for name, param in per.named_parameters():
    print(name, param.size())

('layer1.w', torch.Size([3, 4]))
('layer1.b', torch.Size([4]))
('layer2.w', torch.Size([4, 1]))
('layer2.b', torch.Size([1]))