深度學習網絡層初始化時需要注意的點

在我的問題中，我剛開始使用的初始化函數是 tf.truncated_normal,與random_normal 函數不同，truncated_normal的範圍限制在兩個標準差之間，會把不符合條件的隨機數丟棄。 當我將初始化函數換做tf.random_normal之後效果並沒有好轉，分析了原因，是因爲我設置的每一層的權重初始化值都是tf.random_normal(shape, 0.0, 0.1)

>>阅读原文<<