【深度學習（一）】神經網絡的初始化

本系列的文章爲科研期間的知識面整理，內容在時間前後上並沒有聯繫，可以視作是獨立的板塊 本篇爲開篇之作，主要講述在神經網絡中的初始化問題。一般在神經網絡中，我們將偏置初始化爲0，原因在於該因素對於網絡中的梯度流動並無影響。實際上神經網絡中，我們需要考慮的是如何對神經網絡中的權重進行初始化。 提出問題 我們知道大部分的神經網絡都是使用梯度下降法來進行優化的，因此初始點的選擇往往會對整個訓練過程的收斂速

>>阅读原文<<