加L2正則化防止過擬合前後準確率變化，以及權重初始化

最近在看深度模型處理nlp文本分類。一般在寫模型的時候，L2正則化係數設爲0了，沒有去跑正則化。還有一個小trick，就是一些權重的初始化，比如CNN每層的權重，以及全連接層的權重等等。 一般這些權重可能選擇隨機初始化，符合某種正態分佈。雖然結果影響不大，但是肯定會影響模型收斂以及準確率的。 先上兩張圖。 第一張圖是我沒有加正則化防止過擬合以及隨機初始化權重矩陣的accuracy圖。 第二章是我加

>>阅读原文<<