機器學習-功能縮放與模型初始化

在開始訓練模型之前，我們應該學習的一個重要主題是權重初始化。 錯誤的權重初始化可能導致「從不收斂訓練」或緩慢的訓練。 權重矩陣格式如下： 將輸出f(an)(out)的數量視爲行，將輸入f(an)(in)的數量視爲列。 您還可以考慮另一種格式： 這裏f(an)(out) 爲列，f(an)(in) 爲行。 如果將權重初始化爲零，則梯度下降將永遠不會收斂: 用小值初始化: 一個更好的主意是使用接近零（但

>>阅读原文<<