7.1更好的優化-筆記

歸一化重要性 上圖左圖是沒有中心化的,右圖是中心化的。我們也可以用一條直線進行分類,但如果這條直線稍微旋轉一點,我們分類器會被完全破壞,我們的損失函數對權重矩陣中的線性分類器小擾動十分敏感。右圖將數據中心化,還可以減少他們的方差,在這種情況下,損失函數會不那麼敏感,可以節省優化時間。 batch normalization 這就是在神經網絡中多加一層,以使中間的**值的均值爲0方差爲1 SGD優化
相關文章
相關標籤/搜索