Pytorch下訓練神經網絡，卷積核的初始權重設置

訓練了一些網絡，發現一個問題，怎樣查卷積核的初始權重，以及初始權重是如何配置的？ 1.首先了解初始化的目的 使得神經網絡在訓練過程中學習到有用的信息，這意味着參數的梯度能爲0。那麼參數初始化應該滿足：各層激活值不會出現飽和現象；各層激活值不爲0。 2.隨機生成小的隨機數 我們將參數初始化爲小的隨機數。其中randn從均值爲0，標準差是1的高斯分佈中取樣。需要注意的是參數初始值不能取得太小，因爲小的

>>阅读原文<<