超參數的設定

文章目錄 超參數的設定 1.權重初始化。 2. η \eta η 值的選取 3.規範化參數 4.小批量數據大小(minibatch) 5.總結 超參數的設定 1.權重初始化。 創建神經網絡之後，我們需要進行權重和偏置的初始化。之前的方式就是根據獨立高斯隨機變量來選擇權重和偏置，其被歸一化爲均值爲0，標準差1。 上種方式獲得了不錯的效果。但有沒有更好的方式。我們會使用均值爲0，方差爲 1 n i n

>>阅读原文<<