CS231N 筆記5_神經網絡訓練

權值初始化   2010年,Glorot等人提出了「Xavier初始化」,他們關注了神經元的方差表達式。具體目的大致爲使得每層輸出的方差儘量相等; Batch Normalization   Batch Normalization, 批規範化,即在每次SGD時,通過mini-batch來對相應的activation做規範化操作,使得結果(輸出信號各個維度)的均值爲0,方差爲1。其本質是爲了解決反向
相關文章
相關標籤/搜索