[深度學習] 網絡參數初始化

網絡參數初始化 神經網絡模型一般依靠隨機梯度下降進行模型訓練和參數更新，網絡的最終性能與收斂得到的最優解直接相關，而收斂結果實際上又很大程度取決於網絡參數的最開始的初始化。理想的網絡參數初始化使模型訓練事半功倍，相反，糟糕的初始化方案不僅會影響網絡收斂，甚至會導致梯度彌散或爆炸。 網絡初始化的方案 全零初始化 當網絡達到穩定狀態時， 參數（權值）在理想情況下應該保持正負各半（此時期望爲0）。因此一

>>阅读原文<<