深度學習一些參數的設置

在深度學習中參數的選取是相當重要的，記錄一下一些參數的詳解

權重初始化：表示初始化一個係數，用於加強或減弱每一個輸入信號對於每一個節點。合理權重初始化能夠節省大量的網絡訓練時                         間。調整一個好的權重係數，就能夠更好的傳遞信號，在網絡訓練中就能更準確的歸類。

激活函數： 指的是一系列的函數肯定一個信號經過每一個節點的閥值。若是信號在函數下面就會被阻塞，若是在函數上邊就會被激 活。

正則化：正則化的方法有l2等能夠幫助調整在神經網絡中的過分擬合。正則化本質上用於懲罰大的係數，因爲大的係數的     定義，意味着網絡學習到把他的結果牽制在少部分的大的權重的輸入。 當使用新的數據時，過大的網絡很難概括一個    網絡的模型。

損失函數：是一種評估錯誤的方式，或者是你網絡預測和在你測試集中正確的標籤的不一樣。

學習率： 一個經典的學習率的值實在0.001和0.1之間。學習率。或者步速，是在一個搜索空間內一個函數步的速率。較小的學習率意味的更多的訓練時間，但可能致使更準確的結果。

動量：在肯定如何快速的優化算法收斂，動量是一個額外的因素。