機器學習-功能縮放與模型初始化

在開始訓練模型以前，咱們應該學習的一個重要主題是權重初始化。 錯誤的權重初始化可能致使「從不收斂訓練」或緩慢的訓練。 權重矩陣格式以下： 將輸出f(an)(out)的數量視爲行，將輸入f(an)(in)的數量視爲列。 您還能夠考慮另外一種格式： 這裏f(an)(out) 爲列，f(an)(in) 爲行。web 若是將權重初始化爲零，則梯度降低將永遠不會收斂: 用小值初始化: 一個更好的主意是使用接

>>阅读原文<<