Pytorch神經網絡初始化kaiming分佈

函數的增益值 torch.nn.init.calculate_gain(nonlinearity, param=None) 提供了對非線性函數增益值的計算。 增益值gain是一個比例值，來調控輸入數量級和輸出數量級之間的關係。 fan_in和fan_out pytorch計算fan_in和fan_out的源碼 def _calculate_fan_in_and_fan_out(tensor):

>>阅读原文<<