【深度學習】初始化參數

TensorFlow的過程中初始化參數的時候要注意哪些？ 感覺這道題就是問「神經網絡參數初始化需要注意哪些問題」 觀察sigmoid的函數 其輸出值在0-1之間，而x過大時，激活函數會變得很平緩，也就是斜率很小，這樣不利於學習新的權重。 觀察上面計算更新權重值的表達式，權重的更新取決於激活函數的梯度，梯度太小限制神經網絡的學習能力，也就是所謂的飽和神經網絡。 因此我們不應該讓輸入值太大；而計算機處

>>阅读原文<<