深度學習總結3

序言:上一講中我們談到了Batch_size的選取以及其大小對模型效果的影響,那麼在這一講中,我們來總結一下歸一化。 1.爲什麼要歸一化 2.歸一化的優點 3.歸一化有哪些類型 4.局部響應歸一化作用 一、爲什麼要歸一化 1.避免神經元飽和。就是當神經元的激活在接近 0 或者 1 時會飽和,在這些區域,梯度幾乎爲 0,這樣,在反向傳播過程中,局部梯度就會接近 0,這會有效地「殺死」梯度。 2.保證
相關文章
相關標籤/搜索