pytorch中的Linear Layer(線性層)

LINEAR LAYERS

Linear

Examples:html

>>> m = nn.Linear(20, 30) >>> input = torch.randn(128, 20) >>> output = m(input) >>> print(output.size()) torch.Size([128, 30])


查看源碼後發現U指的是均勻分佈,即weight權重(A的轉置)是取自輸入尺寸的倒數再開方後的正負值之間的均勻分佈,同理可得偏置bias是輸出尺寸
的倒數再開方後的正負值之間的均勻分佈。


資料參考於官網:https://pytorch.org/docs/stable/nn.html#linear-layers
相關文章
相關標籤/搜索