機器學習筆記（9）— 神經網絡的參數初始化、架構選擇、訓練過程

本文主要介紹神經網絡的參數初始化、架構選擇、訓練過程 1.神經網絡的參數初始化 我們以下網絡爲例： 在之前介紹迴歸時，我們設置爲0，若在神經網絡中設置參數也爲0，那麼： 這意味着，每次使用梯度下降法，雖然把權值參數更新了，但是，每一個節點對於下一層網絡的所有參數均是相同的。上一層網絡把相同的函數輸入了下一層網絡，即下一層網絡雖然有很多的節點，但是其實他們計算的函數都是相同的。這是高度冗餘的現象。

>>阅读原文<<